Funcionalidades

Funcionalidade	Suportado	Notas
Definir frequência da pipeline	Sim	Para mais detalhes, acesse.
Sincronização Full load	Sim
Sincronização Incremental - Append	Não
Definição das tabelas coletadas	Sim
Conexão via VPN	Sim	É possível conectar apenas utilizando uma VPN.

Guia rápido

Para iniciar a criação de uma Pipeline, basta ir no módulo Coletar, "Pipelines" aperte em "Nova Pipeline".

Escolha a fonte de dados

Utilize uma fonte já cadastrada ou cadastre uma nova

Parâmetros para conexão (cadastro da fonte)

Nome do campo	Descrição	Exemplo
Endpoint	Endereço público de conexão do seu banco de dados. Nos formatos válidos de IPv4 ou DNS	32.142.63.4
Número da porta	Porta do banco	27017
Tipo de conexão	É possível apenas realizar conexão utilizando VPN, para acessar bancos privados
Usuário	Usuário do banco	admin
Senha	Senha do banco do usuário
Banco de dados de autenticação	Banco de dados onde o usuário está definido	my-db

Informações da pipeline

Atribua o nome e uma breve descrição para sua Pipeline.

Parâmetros para configurações da pipeline

Nome do campo	Descrição	Exemplo
Database	Banco de dados onde os bancos serão sincronizados	my-db
Habilitar SSL (opcional)	Habilite o SSL para realizar a coleta encriptografada

Especificar tabelas

Digite o nome das tabelas do banco que devem ser coletadas.

📘
Para cada tabela importada será criado um dataset diferente no catálogo.

Agendamento

Por último, configure a frequência desejada para que sua pipeline rode. É possível escolher dentre as opções apresentadas ou inserir uma frequência customizada através de uma expressão cron. Para saber mais, acesse.

📘

O fuso horário padrão utilizado na frequência é o UTC.

Todos os métodos de frequência definem quando as extrações serão iniciadas. Eles não controlam por quanto tempo o trabalho de replicação será executado ou quando os dados estarão efetivamente no destino.

Pronto! Agora basta aguardar a coleta ser feita no horário e dia agendado.

Caso queira executar a pipeline imediatamente, é possível executá-la manualmente em até 30 segundos após a criação da pipeline. Vá em "Pipelines", "Lista" e "Sincronizar Pipeline".

Após alguns minutos, sua pipeline estará catalogada na aba de exploração como um Data Asset.

É possível também consultar na lista de pipelines os detalhes da pipeline, como: resumo, lista de entidades e colunas coletadas, histórico de execução e de micro-transformação, em "Ver pipeline".