RestAPI
Colete os dados através de requisição HTTP Rest
Status do conector: Alpha
Recomendamos que o time de suporte da Dadosfera seja consultado para entendimento se os dados da sua API podem ser coletados através deste conector. Por ser um conector com Status Alpha, ele funciona apenas em casos específicos.
Funcionalidades
| Funcionalidade | Suportado | Notas |
|---|---|---|
| Autenticação via Header | Sim | |
| Paginação | Sim | |
| Coleta Full Load | Sim | |
| Coleta Incremental | Sim |
Guia rápido
Para iniciar a criação de uma Pipeline, basta ir no módulo Coletar, "Pipelines" aperte em "Nova Pipeline".
Escolha a fonte de dados
Utilize uma fonte já cadastrada ou cadastre uma nova
Parâmetros para conexão (cadastro da fonte)
O método de autenticação é via Header, necessário caso sua API seja privada. Caso seja pública, não é necessário fornecer o Header.
| Nome do campo | Descrição |
|---|---|
| API | Defina se a API coletada é privada ou pública |
| Headers (Opcional) | Composto por Chave e Valor, contêm a parte sensível da autenticação, a ser cadastrado dependendo das configurações da sua API. Podem ser cadastrados inúmeros Headers, e todos os valores aqui cadastrados serão armazenados como um segredo. |
**Exemplo de Header**
Chave: "Basic"
Valor: "YWlyZmxvdzptaJLgbG96"
Informações da pipeline
Atribua o nome e uma breve descrição para sua Pipeline.
Parâmetros para configurações da pipeline
Etapa 1: URL
| Nome do campo | Descrição | Exemplo |
|---|---|---|
| API URL | Base URL ou Endpoint da API | https://my-api.com |
Etapa 2 - Método de replicação
Selecione se a coleta será full table (ou seja, toda vez que a pipeline rodar, todos os dados serão coletados novamente) ou incremental. No caso da replicação incremental, o campo Chave primária (inserido na etapa 5) será utilizado como base para definir a partir de qual registro cada nova coleta irá trazer os dados
Etapa 3 - Headers Adicionais (Opcional)
| Nome do campo | Descrição |
|---|---|
| Headers Adicionais (Opcional) | Composto por Chave e Valor, podem ser cadastrados inúmeros Headers adicionais, que serão mesclados com os Headers do Stream |
Etapa 4 - Paginação (Opcional)
| Nome do campo | Descrição |
|---|---|
| Tamanho da página (Opcional) | Campo numérico igual ou maior que 1 |
Exemplo de Paginação suportada:
Existem muitos modelos e possibilidades de tratar paginações em Rest APIs, com isso a paginação atual que o conector suporta é no estilo que contenha os seguintes campos de controle:
- offset: indica qual a página atual do processo de consulta dos dados.
- limit: indica o tamanho de cada página, ou seja, número de registros que cada página retornará como resultado.
- total: a quantidade de registros ao todo que serão consultados e paginados.
A resposta esperada pelo conector para realizar a paginação corretamento contém o seguinte modelo:
{
...
"pagination": {
"total": 120,
"limit": 20,
"offset": 20
},
...
}
O indicador pagination agrupa os campos de controle de paginação que foram explicados anteriormente.
Na configuração do conector na interface da Dadosfera, é necessário apenas informar o tamanho que será considerado em cada página, ou seja, o limit.
Caso a necessidade de paginação seja diferente dos modelos suportados atualmente, entre em contato com o nosso suporte para analisarmos uma solução para realização da coleta.
Etapa 5 - Stream
Lista de objetos contendo a configuração necessária para cada Stream. É possível cadastrar apenas 1 Stream por pipeline.
| Nome do campo | Descrição | Exemplo |
|---|---|---|
| Nome (obrigatório) | Nome do Stream | meu_stream |
| Chave primária (obrigatório) | Pode ser cadastrado mais de uma chave por Stream | stream_id |
| Path (opcional) | Caminho a ser appended na API URL | /api/v1/stream |
| Caminho da resposta (opcional) | Representa o caminho na resposta de solicitações que contém os registros a serem processados | $.stream[*] |
| Número de registros para inferência do Schema | Número de registros usados para inferir o esquema do Stream. O padrão é 50. | 50 |
| Parâmetros (opcional) | Fornecem os parâmetros em um método request.get. Os parâmetros de nível de fluxo serão mesclados com os parâmetros de nível superior com os parâmetros de nível de fluxo substituindo os parâmetros de nível superior com a mesma chave |
Clique em "Salvar e Continuar".
Frequência
- Por último, configure a frequência desejada para que sua pipeline rode. É possível escolher dentre as opções apresentadas ou inserir uma frequência customizada através de uma expressão cron. Para saber mais, acesse.
O fuso horário padrão utilizado na frequência é o UTC.
Todos os métodos de frequência definem quando as extrações serão iniciadas. Eles não controlam por quanto tempo o trabalho de replicação será executado ou quando os dados estarão efetivamente no destino.
Pronto! Agora basta aguardar a coleta ser feita no horário e dia agendado.
Caso queira executar a pipeline imediatamente, é possível executá-la manualmente em até 30 segundos após a criação da pipeline. Vá em "Pipelines", "Lista" e "Sincronizar Pipeline".
Após alguns minutos, sua pipeline estará catalogada na aba de exploração como um Data Asset.
É possível também consultar na lista de pipelines os detalhes da pipeline, como: resumo, lista de entidades e colunas coletadas, histórico de execução e de micro-transformação, em "Ver pipeline".
Updated 5 months ago