Estamos muito animados em lançar a primeira versão da Dadosfera! 🤩🥳 Acompanhe abaixo as principais funcionalidades lançadas na nossa versão beta da Plataforma de Dados Dadosfera. 🚀

✨ Novas funcionalidades

- Módulo de Coleta

Fonte AWS S3

Colete os arquivos do tipo: CSV, JSON e Parquet que estão armazenados no seu bucket no AWS S3, serviço de armazenamento de objetos oferecido pela Amazon Web Services.

Fonte MySQL

O MySQL é um sistema de gerenciamento de banco de dados fornecido atualmente pela Oracle Corporation. A Dadosfera replica dados do seu banco de origem MySQL e carrega na Dadosfera, para Exploração e Análise. Nessa versão do conector foram entregues as seguintes funcionalidades: Teste de conexão, Especificação de entidades, Sincronização Full-load, Micro-transformação (criptografar) e Agendamento.

Fonte PostgreSQL

O PostgreSQL é um sistema gerenciador de banco de dados objeto relacional, desenvolvido como projeto de código aberto. A Dadosfera replica dados do seu banco de origem PostgreSQL e carrega na Dadosfera, para Exploração e Análise. Nessa versão do conector foram entregues as seguintes funcionalidades: Teste de conexão, Especificação de entidades, Sincronização Full-load, Micro-transformação (criptografar) e Agendamento.

Fonte SQLServer

O Microsoft SQL Server é um sistema gerenciador de Banco de dados relacional desenvolvido pela Sybase em parceria com a Microsoft. A Dadosfera replica dados do seu banco de origem SQL Server e carrega na Dadosfera, para Exploração e Análise. Nessa versão do conector foram entregues as seguintes funcionalidades: Teste de conexão, Especificação de entidades, Sincronização Full-load, Micro-transformação (criptografar) e Agendamento.

Fonte Oracle DB

O Banco de dados Oracle (Oracle DB) é um sistema de gerenciamento de banco de dados relacional fornecido pela Oracle Corporation. A Dadosfera replica dados do seu banco de origem Oracle e carrega na Dadosfera, para Exploração e Análise. Nessa versão do conector foram entregues as seguintes funcionalidades: Teste de conexão, Especificação de entidades, Sincronização Full-load, Micro-transformação (criptografar) e Agendamento.

Lista de Pipelines

Lista das Pipelines já criadas, em uma visão de cards, no qual é possível:

• Pesquisar e filtrar pipelines
• Ver detalhes da pipeline
• Executar pipeline manualmente
• Excluir pipeline
• Verificar o histórico das execuções

.

- Módulo de Exploração

Catálogação de Data Assets: Datasets

Após a criação de uma pipeline ou de uma view, seu dataset será catalogado e poderá receber atributos, como:

• Comentários
• Tags
• Documentação
• Prévia dos dados

Além disso, é possível visualizar os seguintes metadados, calculados automaticamente:

• Número de linhas analisadas
• Número de colunas analisadas
• Metadados das colunas:
  • Nulos
  • Distintos
  • Maior Valor
  • Menor Valor
  • Média
  • Mediana
  • Desvio padrão

Catálogação de Data Assets: Dashboards

Os dashboads criados no módulo de análise, são automaticamente embedados e catalogados, para fácil acesso e compartilhamento dentro do seu time.

Consolidação

Consolide os seus dados utilizando o Snowflake, e crie views, que serão automaticamente catalogadas para consulta posterior e por outros usuários, que terão também aos metadados, prévia, tags, comentários e documentação.

- Módulo de Análise

Visualização

• Construção de dashboards de Business Intelligence.
• Integração com Banco de Dados do Snowflake.
• Integração com dados em nuvem.
• Análise Exploratória de Dados.
• Catalogação automática do Dashboard.

Inteligência (versão alpha)

• Análise Exploratória de Dados.
• Estruturação e orquestração de pipelines de dados.
• Jobs (trabalho agendado/scheduled).
• Modelos de AI.
• Dataviz.
• Jupyter Notebook.
• Configuração de ambientes (environments).
• Comparação de resultados e estimativas de modelos de ML.

Obrigado por fazer parte da comunidade Dadosfera, pessoal.