Funcionalidades

Funcionalidade	Suportado	Notas
Definir frequência da pipeline	Sim	Para mais detalhes, acesse.
Sincronização Full load	Sim
Sincronização Incremental - Append	Não
Definição das tabelas coletadas	Sim

Guia rápido

Para iniciar a criação de uma Pipeline, basta ir no módulo Coletar, "Pipelines" aperte em "Nova Pipeline".

Escolha a fonte de dados

Utilize uma fonte já cadastrada ou cadastre uma nova

Parâmetros para conexão (cadastro da fonte)

Nome do campo	Descrição	Exemplo
Access Key ID	Access key fornecido de um IAM user ou AWS account root user. Deve possuir 20 caracteres.	ACHLNDKM6AIPSWH3TP
Secret Access Key	Chave secreta fornecido em conjunto com a AWS Access Key. Deve possuir 40 caracteres.	KwYmQq/zZQAjc+pMRiQ

Informações da pipeline

Atribua o nome e uma breve descrição para sua Pipeline.

Parâmetros para configurações da pipeline

Nome do campo	Descrição	Exemplo
Nome da região	Localização geográfica onde se localizam seus recursos cloud da AWS	us-east-1

Especificar tabelas

Digite o nome das tabelas do banco que devem ser coletadas.

📘
Para cada tabela importada será criado um dataset diferente no catálogo.

Agendamento

Por último, configure a frequência desejada para que sua pipeline rode. É possível escolher dentre as opções apresentadas ou inserir uma frequência customizada através de uma expressão cron. Para saber mais, acesse.

📘

O fuso horário padrão utilizado na frequência é o UTC.

Todos os métodos de frequência definem quando as extrações serão iniciadas. Eles não controlam por quanto tempo o trabalho de replicação será executado ou quando os dados estarão efetivamente no destino.

Pronto! Agora basta aguardar a coleta ser feita no horário e dia agendado.

Caso queira executar a pipeline imediatamente, é possível executá-la manualmente em até 30 segundos após a criação da pipeline. Vá em "Pipelines", "Lista" e "Sincronizar Pipeline".

Após alguns minutos, sua pipeline estará catalogada na aba de exploração como um Data Asset.

É possível também consultar na lista de pipelines os detalhes da pipeline, como: resumo, lista de entidades e colunas coletadas, histórico de execução e de micro-transformação, em "Ver pipeline".