Forum
Pipeline com _PROCESSING_TIMESTAMP sempre igual em pipeline Incremental
about 2 months ago by Davi Ribeio(edited)
Tenho uma pipeline incremental no Dadosfera tech que pega dados de um bucket no S3 e adiciona um arquivo novo por dia na tabela da Dadosfera.
Como é só um arquivo novo por dia, o comportamento esperado é que a tabela desta pipeline gerasse um __PROCESSING_TIMESTAMP_ para cada dado novo. Contudo, todos os dados, até mesmo os antigos, ficam com o __PROCESSING_TIMESTAMP_ mais atual.
Hoje é dia 13/03/24 e mesmo dados de fevereiro estão com o timestamp mais atual - e não houve modificação nestes arquivos.
Por que isso ocorre?
O id da pipeline em que isso está ocorrendo é: 85b7ab00-7f23-4020-b540-aad59b9bc8d2