Monitoramento de Pipelines

A tela de Monitoramento de Pipelines oferece uma visão detalhada do status das execuções e seu histórico, permitindo um acompanhamento completo das atividades. Para acessá-la, entre no módulo de coleta, acesse "Pipelines" e clique em "Monitoramento".

Este módulo possui três abas principais que oferecem diferentes níveis de controle e insights sobre o funcionamento dos pipelines.

1. Visão Geral de Pipelines

Objetivo:

Proporcionar uma visão ampla e de alto nível sobre o status, tendências e saúde das execuções de pipelines.

Principais Recursos:

Métricas Resumidas:
Visualize as métricas principais das últimas execuções:
- Total de pipelines executados (últimas 24h, semana, mês).
- Status mais recente das pipelines.
- Histórico completo das execuções em um período específico.

2. Visão Temporal de Pipelines

Objetivo:

Acompanhar agendamentos, prever possíveis sobrecargas e otimizar a distribuição temporal das execuções de pipelines.

Principais Recursos:

Próximas Execuções Agendadas:
Veja os horários programados de início e previsão de término , com base na mediana histórica do tempo de execução da pipeline.
Distribuição Horária:
Analise a distribuição dos agendamentos ao longo do dia:
- Gráfico de barras (BarChart) mostrando a quantidade de pipelines programadas por hora (horario_agendado).
- Contagem das execuções por slot horário.

3. Visão Detalhada de Jobs de Pipelines de Coleta

Objetivo:

Fornecer uma visão detalhada de cada job executado, com métricas técnicas que permitem um acompanhamento preciso do desempenho e uso de recursos.

Principais Recursos:

Métricas Técnicas por Job:

Campo	Descrição	Exemplo
`allocated_job_memory`	Memória alocada (MB) para o job	`4096 MB`
`replication_method`	Estratégia de replicação utilizada (`FULL_LOAD` ou `INCREMENTAL`)	`INCREMENTAL`
`plugin` & `connector`	Tecnologias utilizadas para coleta de dados	`snowflake`, `postgres`
`cron_schedule`	Frequência de execução agendada (formato Cron)	`0 12 * * *`
`avg_collected_rows`	Média de linhas processadas por execução	`1,250,000`
`estimated_table_rows`	Estimativa total de linhas na tabela de destino	`15,000,000`

Detalhamento Ampliado:
- Link Direto: Acesse a pipeline diretamente através de um link para o Dadosfera App.
- Estratégia de Carga:
  - FULL_LOAD: Recriação completa da tabela.
  - INCREMENTAL: Atualização parcial da tabela.
Alocação de Recursos:
- A relação entre a memória alocada e o volume de dados processados (collected_rows).
- Identificação de jobs que estão subutilizando ou superutilizando recursos.