Funcionalidades

Funcionalidade	Suportado	Notas
Definir frequência da pipeline	Sim	Para mais detalhes, acesse.
Sincronização Full load	Sim	Consulte as tabelas
Sincronização Incremental	Sim	Consulte as tabelas
Conexão via OAuth	Sim

Guia rápido

Para iniciar a criação de uma Pipeline, basta ir no módulo Coletar, "Pipelines" aperte em "Nova Pipeline".

Escolha a fonte de dados

Utilize uma fonte já cadastrada ou cadastre uma nova

Informações da pipeline

Atribua o Nome e uma Breve descrição para sua Pipeline.

Parâmetros para configurações da pipeline

Nome do campo	Descrição	Exemplo
Data de início	Determina a partir de quando os dados históricos serão extraídos.	dd/mm/aaaa

Clique em "Salvar e Continuar".

Especificar os objetos

Sincronização disponível para cada objeto:

contacts
- Replication strategy: INCREMENTAL | FULL_TABLE
campaigns
- Replication strategy: FULL_TABLE
companies
- Replication strategy: INCREMENTAL | FULL_TABLE
contact_lists
- Replication strategy: FULL_TABLE
contacts_by_company
- Replication strategy: FULL_TABLE
deal_pipelines
- Replication strategy: FULL_TABLE
deals
- Replication strategy: INCREMENTAL | FULL_TABLE
email_events
- Replication strategy: INCREMENTAL | FULL_TABLE
engagements
- Replication strategy: FULL_TABLE
forms
- Replication strategy: FULL_TABLE
owners
- Replication strategy: FULL_TABLE
subscription_changes
- Replication strategy: INCREMENTAL | FULL_TABLE
workflows
- Replication strategy: FULL_TABLE

Após inserir as credenciais você estará apto a visualizar e selecionar quais entidades da fonte conectada serão importados na coleta de dados e as colunas que serão importadas.

Além disso, pode definir o modo de sincronização por objeto. Para saber mais, acesse.

📘
Ao selecionar mais de uma entidade, para cada tabela ou view importada será criado um dataset diferente no catálogo.

Frequência

Por último, configure a frequência desejada para que sua pipeline rode. É possível escolher dentre as opções apresentadas ou inserir uma frequência customizada através de uma expressão cron. Para saber mais, acesse.

📘

O fuso horário padrão utilizado na frequência é o UTC.

Todos os métodos de frequência definem quando as extrações serão iniciadas. Eles não controlam por quanto tempo o trabalho de replicação será executado ou quando os dados estarão efetivamente no destino.

Pronto! Agora basta aguardar a coleta ser feita no horário e dia agendado.

Caso queira executar a pipeline imediatamente, é possível executá-la manualmente em até 30 segundos após a criação da pipeline. Vá em "Pipelines", "Lista" e "Sincronizar Pipeline".

Após alguns minutos, sua pipeline estará catalogada na aba de exploração como um Data Asset.

É possível também consultar na lista de pipelines os detalhes da pipeline, como: resumo, lista de entidades e colunas coletadas, histórico de execução e de micro-transformação, em "Ver pipeline".