Forum
Como eu faço para editar os links que ficam na Home da dadosfera?
Como alterar e editar os links que aparecem na Home da plataforma da dadosfera
Posted by Mikael Akihitto Hirata Iwamoto 18 days ago
Estou recebendo erro na variável de ambiente 'LANGUAGE_CODE' quando tento executar o data app
Olá, tentei subir um data app, configurei corretamente o arquivo .env, mas continuo recebendo erro na variável de ambiente 'LANGUAGE_CODE'. Fiz o teste local, mas não consigo reproduzir o data app no ambiente de inteligência.
Posted by Ronan Abreu 2 months ago
Consigo acessar os logs da pipeline quando não está carregando?
Olá,
Rodei uma pipeline mas os logs não apareceram, como procedo nesse caso?
<br />
<br />
Posted by Beatriz Helena 2 months ago
Como faço para apagar tags no catálogo?
Olá, gostaria de saber como apago as tags no catálogo. Preciso fazer uma sanitização de tags e não encontrei um botão ou função que exclua as tags criadas.
Posted by Ronan Abreu 2 months ago
Possibilidade de clonar pipeline
É possível clonar um projeto no módulo de inteligência?
Vamos fazer uma nova versão de uma pipeline com alterações, mas vai demorar um tempo. Por isso seria interessante manter a atual como está e trabalhar em cima de uma cópia dela
Posted by Cassiana Barreto 2 months ago
Pipeline com _PROCESSING_TIMESTAMP sempre igual em pipeline Incremental
Tenho uma pipeline incremental no Dadosfera tech que pega dados de um bucket no S3 e adiciona um arquivo novo por dia na tabela da Dadosfera.
Como é só um arquivo novo por dia, o comportamento esperado é que a tabela desta pipeline gerasse um `__PROCESSING_TIMESTAMP_` para cada dado novo. Contudo, todos os dados, até mesmo os antigos, ficam com o `__PROCESSING_TIMESTAMP_` mais atual.
Hoje é dia 13/03/24 e mesmo dados de fevereiro estão com o timestamp mais atual - e não houve modificação nestes arquivos.
Por que isso ocorre?
O id da pipeline em que isso está ocorrendo é: 85b7ab00-7f23-4020-b540-aad59b9bc8d2
Posted by Davi Ribeio 5 months ago
Ambiente de demo não encontra env var
Estou tentando acrescentar uma variável de ambiente em um dataapp no módulo de inteligência. Porém, mesmo quando eu coloco a variável de ambiente no projeto, desligando e a sessão do dataapp, ele não reconhece as variáveis de ambiente.
Até rebuildei o projeto, mas não teve efeito.
Como posso resolver?
Posted by Luiz Yamada 5 months ago
Conexão Snowflake no módulo de inteligência
Necessito de auxílio com o conector do snowflake. Apesar de não estar acusando erro ao gerar um arquivo ou variável ela não fica com a tabela, mas sim com a query escrita. Já chequei em outros projetos e não há diferença entre o step que estou utilizando (Copiado da stepsfera no ambiente demo) para esse outros projetos (em outros ambientes). Preciso dos dados da tabela no orchest para utilizar no data app em desenvolvimento.
Posted by Laura Novaes 5 months ago
Problema para subir a dadosferalib
Ao tentar instalar a dadosferalib no environment 5d0bb273-5491-4ac4-a2a2-ba32282567fd utilizando o seguinte script:
# !/bin/bash
sudo apt-get update
sudo apt-get install gettext -y
chmod +x ./compile_translations
pip3 install pyOpenSSL --upgrade
pip3 install awscli chardet requests anybase32 pandas snowflake-snowpark-python snowflake
pip3 install streamlit
pip install geopy folium
pip install -r requirements.txt
aws codeartifact login --tool pip --domain dadosfera --domain-owner 611330257153 --region us-east-1 --repository dadosfera-pip
pip3 install dadosfera==1.5.0 dadosfera_logs==1.0.3
Estou obtendo como erro que a biblioteca não está sendo encontrada. Também tentei usando a imagem Custom: dadosfera/base-kernel-py:1.0.2 e obtive o mesmo erro.
### Traceback do erro
```Text shell
Traceback (most recent call last):
File "/project-dir/get_table_from_snowflake/get_table_from_snowflake.py", line 1, in <module>
from dadosfera.services.snowflake import get_snowpark_session
File "/project-dir/get_table_from_snowflake/dadosfera/services/snowflake.py", line 2, in <module>
import snowflake.connector
File "/opt/conda/lib/python3.9/site-packages/snowflake/connector/__init__.py", line 19, in <module>
from .connection import SnowflakeConnection
File "/opt/conda/lib/python3.9/site-packages/snowflake/connector/connection.py", line 33, in <module>
from . import errors, proxy
File "/opt/conda/lib/python3.9/site-packages/snowflake/connector/errors.py", line 18, in <module>
from .telemetry_oob import TelemetryService
File "/opt/conda/lib/python3.9/site-packages/snowflake/connector/telemetry_oob.py", line 22, in <module>
from .vendored import requests
File "/opt/conda/lib/python3.9/site-packages/snowflake/connector/vendored/requests/__init__.py", line 119, in <module>
from ..urllib3.contrib import pyopenssl
File "/opt/conda/lib/python3.9/site-packages/snowflake/connector/vendored/urllib3/contrib/pyopenssl.py", line 50, in <module>
import OpenSSL.crypto
File "/opt/conda/lib/python3.9/site-packages/OpenSSL/__init__.py", line 8, in <module>
from OpenSSL import SSL, crypto
File "/opt/conda/lib/python3.9/site-packages/OpenSSL/SSL.py", line 34, in <module>
from OpenSSL.crypto import (
File "/opt/conda/lib/python3.9/site-packages/OpenSSL/crypto.py", line 945, in <module>
utils.deprecated(
TypeError: deprecated() got an unexpected keyword argument 'name'
```
Posted by Laura Novaes 5 months ago
O carregamento da pipeline sessions não está acontecendo.
Posted by null 11 months ago