Monitoramento de Jobs e Pipelines runs do Módulo de Processamento

A tela de Monitoramento de Jobs e Pipelines do Módulo de Processamento oferece uma visão geral de todos os Jobs e Pipelines do módulo de processamento, permitindo um acompanhamento completo das atividades.

Para acessá-la adicione /app-analyticsno final da url, ou seja, caso a sua URL seja: https://app-process.dadosfera.ai/, adicione https://app-process.dadosfera.ai/app-analytics.

Este módulo possui 3 abas, a main, log findere raw data

• main: Possui as visões dos jobs e pipelines de forma gráfica
• log finder: Consulta os logs das Pipelines Runs
• raw data: Possui as tabelas brutas para consultar e baixar

Visão Geral da página main

Funcionalidades

1. Seção "Dados dos Jobs"

• Intervalo de Tempo: Permite selecionar o intervalo de tempo (1, 7, 15, 30, 60 ou 90 dias) para filtrar os dados dos jobs.
• Heatmap de Execução de Jobs: Exibe um mapa de calor com a distribuição das execuções ao longo do tempo.
• Gráfico de Status dos Jobs: Mostra a distribuição dos status dos jobs em um gráfico de pizza.
• Jobs por Projeto: Exibe um gráfico de barras categorizando os jobs por projeto.

2. Seção "Dados das Pipelines runs"

• Execução de Pipelines runs: Exibe informações sobre a execução das pipelines runs e o tempo de execução de cada uma.
• Status por Pipeline Run: Mostra a distribuição dos status das execuções das pipelines runs.
• Histograma do Tempo de Execução: Apresenta um histograma com estatísticas sobre o tempo de execução das pipelines.
• Status por Pipeline runs e Jobs Ativos: Relaciona as execuções das pipelines runs aos jobs ativos.
• Pipelines runs por Projeto: Mostra a distribuição das execuções das pipelines runs por projeto.

Visão Geral da página log finder

O que faz?

• Mostra logs das execuções de pipelines.
• Permite filtrar por projeto, pipeline, job, status e data.
• Baixa todos os logs filtrados em um arquivo ZIP.

Como usar?

1. Aplique os filtros:

   • Escolha o projeto, pipeline, job, status e período de data que deseja.

2. Veja os resultados:

   • Os logs filtrados aparecem em uma tabela com informações como status, projeto e data.

3. Visualize os logs:

   • Clique em 📥 Visualizar os Logs Filtrados para ver detalhes de cada log.

4. Baixe os logs:

   • No final da página, clique em 📥 Baixar Todos os Logs para baixar tudo em um arquivo ZIP.

Visão Geral da página raw data

Abas de Navegação

A interface está dividida em duas abas principais:

📋 Dados dos Jobs

Exibe uma tabela interativa com os dados dos Jobs

Possui filtros interativos para explorar os dados.

Botão para download dos dados em CSV.

🔄 Dados das Pipelines

Exibe uma tabela interativa com os dados das Pipelines

Permite pesquisa, filtros, ordenação e paginação.

Botão para download dos dados em CSV.