Infraestrutura da Dadosfera
Aqui estão descritos as combinações de Infraestrutura e Add-ons da Dadosfera. Para saber preços e condições, entre em contato
Módulos
| Módulo | Descrição | Basic Pro. | Standard | Advanced | Enterprise* |
|---|---|---|---|---|---|
| Coleta | Coleta de Dados usando conectores prontos para uso. | Compartilhado (Small) | Compartilhado (Medium) | Compartilhado (Medium) | Dedicado (Large +) |
| Processamento | Crie fluxos de Transformação de Dados, em Python, R ou Julia dentro da Dadosfera. | Não Disponível | Opcional (Medium) | Dedicado (Large) | Dedicado (Large +) |
| Consulta | Módulo de Consulta (Query) e materialização e criação de visões (views) de dados usando SQL. Também usado para Transformação Massiva de dados. | Compartilhado (Small) | Compartilhado (Small) | Dedicado (Small) | Dedicado com Auto-Scalling **(Small +) |
| Visualização | Construção de Análises Descritivas como Relatórios, Dashboards e Gráficos. | Dedicado (Small) | Dedicado (Medium) | Dedicado (Large) | Dedicado (Large +) |
| Inteligência | Criação de notebooks e modelos de ML/AI e disponibilização de Data Apps em R Shiny ou Streamlit | Não Disponível | Opcional (Medium) | Dedicado (Large) | Dedicado (Large +) |
[*] O plano Enterprise oferece flexibilidade para escalar verticalmente (em número de nós) e horizontalmente (em tamanho dos nós) todos os recursos acima. Para propostas customizadas, entre em contato com nosso time Comercial.
[**] No plano Enterprise, há a possibilidade de configurar Auto-Scalling automatizado. Dessa forma, o cliente pode ter acesso a um cluster com vários nós, que escalam conforme a necessidade de processamento. Mais infos aqui
Importante
A Dadosfera garante o isolamento de todos os dados dos clientes, independentemente do uso de recursos de nuvem compartilhados ou não.
- Definição de Clusters
- Cluster Dedicado: Os recursos são exclusivos por cliente.
- Cluster Compartilhado: Os recursos são compartilhados com outros clientes.
Especificação de Infraestrutura por Módulo
Abaixo, especificamos a quantidade de recursos em CPU e RAM disponível para cada módulo, seja em cluster ou não.
| Módulo | Small | Medium | Large |
|---|---|---|---|
| Coleta | 2 vCPU/4.00 GB | 2 vCPU/8.00 GB | 4 vCPU/16.00 GB |
| Processamento | - | 4 vCPU/16.00 GB | 8 vCPU/32.00 GB |
| Consulta* | 8 vCPU/16.00 GB | 16 vCPU/32.00 GB | 32 vCPU/64.00 GB |
| Catálogo | 2x (2 vCPU/1.00 GB) | 2x (2 vCPU/2.00 GB) | 2x2 vCPU/4.00 GB |
| Visualização | 2x (2 vCPU/2.00 GB) | 2x (2 vCPU/4.00 GB) | 2x2 vCPU/8.00 GB |
| Inteligência | - | 4 vCPU/16.00 GB | 8 vCPU/32.00 GB |
[*] Por padrão a Dadosfera disponibiliza somente 1 nó para o módulo de Consulta. Para Autoscalling ou Cluster Multi-Nós, entre em contato.
Disponibilidade de serviços
Para consultar a Disponibilidade do serviço de DW utilizado, consulte a documentação referida abaixo
Módulo de Transformação Massiva
O módulo de Transformação Massiva permite o uso do poder computacional do módulo de Consulta (MPP/DW) para fazer transformações de grandes volumes de dados, em segundos, usando Python e/ou R.
Implementação Enterprise
Para a criação do ambiente 100% dedicado da Dadosfera, é necessária uma fase de Implementação, executada pelo time de Serviços Profissionais da Dadosfera. Esta implementação dura entre 30 e 90 dias, dependendo da complexidade do projeto, consistindo no seguinte escopo:
- Criação da Conta de Nuvem exclusiva para o cliente
- Checklist de Governança de nova conta
- Configuração de Identidade e Acesso
- Provisionamento da Infraestrutura (via IaC)
- Implantação do Software da Dadosfera nos módulos
- Configuração do MPP
- Configuração dos Módulos
- Implementação Padrão (Setup Standard)
Funcionalidades e Componentes Adicionais
Abaixo são definidos os componentes adicionais de infraestrutura ou funcionalidades que possibilitam diferentes formas de integrações seguras entre Dadosfera e o ambiente de seus clientes.
Definição:
| Funcionalidade/Recurso | Descrição | Módulo |
|---|---|---|
| VPN | Uma Rede Privada Virtual permite o acesso seguro a uma rede privada a partir de uma rede pública ou não segura, garantindo que os dados enviados e recebidos pela Dadosfera sejam criptografados e seguros. | Conexões |
| VPC Peering (AWS) | VPC Peering é uma conexão de rede entre dois VPCs que permite o roteamento de tráfego entre eles usando endereços privados IPv4 ou IPv6. Essa conexão é mais performática e garante custo zero para redes na mesma região. | Conexões |
| IP Fixo | Um IP fixo é um endereço de internet permanente que permanece o mesmo ao longo do tempo, ao contrário dos IPs dinâmicos que mudam. A Dadosfera disponibiliza estes IPs para liberações de Firewall, garantindo uma abertura segura das fontes de dados dos clientes. | Conexões |
| SSH Tunneling | O SSH Tunneling, ou encaminhamento de porta SSH, é um método de transporte de dados de rede arbitrários sobre uma conexão SSH criptografada. Ele pode fornecer um caminho seguro para a transmissão de dados. | Conexões |
| Row Level Security (RLS) | O RLS é um recurso em bancos de dados que restringe o acesso às linhas de dados com base em funções ou permissões do usuário. Alguns usuários têm visibilidade restrita de dados com base nessas funções. | Visualização |
| Cluster Spark Dedicado | A Dadosfera pode provisionar um cluster Dedicado de Spark para portar códigos de transformação de dados do cliente utilizando essa tecnologia. | Transformação |
| Cluster Snowpark Otimizado | Um Cluster Snowpark Otimizado refere-se a um cluster especialmente configurado para o Snowpark, um serviço no Snowflake Data Cloud que permite aos usuários processar grandes volumes de dados facilmente, utilizando Python, R ou Scala. | Transformação |
| Backup / Disaster Recovery Extendido | Refere-se a estratégias e procedimentos colocados em prática para recuperar e proteger a infraestrutura de TI de uma empresa em caso de desastre. Incluso para até 90 dias no Tier Enterprise. | Consulta |
| Multi-cluster warehouse | Em plataformas de dados na nuvem como o Snowflake, um armazém de multi-cluster permite o processamento simultâneo e o aumento de desempenho ao utilizar vários clusters de computação. | Consulta |
| Até 90 dias de Time-Travel | Em sistemas de dados como o Snowflake, Time-Travel refere-se à capacidade de acessar dados históricos dentro de um determinado período, neste caso, até 90 dias. | Consulta |
| Rotacionamento Anual da chave de dados criptografados | Um rekey anual refere-se à prática de mudar as chaves de criptografia em uma base anual. É uma prática recomendada de segurança para proteger dados sensíveis. | Consulta |
| Materialized Views | Em bancos de dados, uma View Materializada é um objeto de banco de dados que contém os resultados de uma consulta e pode ser atualizada à medida que os dados mudam. Eles são frequentemente usados para melhorar o desempenho das consultas. | Consulta |
| Otimização de Busca | Característica que possibilita o uso performático do MPP como um banco full-text search. | Consulta |
| Dynamic Data Masking (Mascaramento de Dados Dinâmico) | É um recurso de Segurança em Nível de Coluna (CLS) que utiliza políticas de máscara para mascarar seletivamente dados em texto simples em colunas de tabelas e visualizações durante a execução de consultas. | Consulta |
| External Data Tokenization | Permite que contas realizem a tokenização de dados antes de carregá-los no Snowflake e descriptografem os dados durante a execução das consultas. A tokenização é o processo de remoção de dados sensíveis, substituindo-os por um token indecifrável. A Tokenização Externa utiliza políticas de máscara com funções externas. | Consulta |
| GPU | Possibilidade de uso de GPU na infra-estrutura para Treinamento e Inferência de modelos de ML/AI | Inteligência |
Disponibilidade
| Funcionalidade/Recurso | Módulo | Basic Pro. | Standard | Advanced | Enterprise |
|---|---|---|---|---|---|
| VPN | Conexões | Opcional | Incluso | Incluso | Incluso |
| VPC Peering | Conexões | Não Disponível | Opcional | Incluso | Incluso |
| IP Fixo | Conexões | Opcional | Incluso | Incluso | Incluso |
| Row Level Security (RLS) | Visualização | Não Disponível | Opcional | Incluso | Incluso |
| SSH Tunneling | Conexões | Opcional | Opcional | Incluso | Incluso |
| Backup / Disaster Recovery** | Consulta | Não Disponível | Opcional | Incluso | Incluso |
| Cluster Spark Dedicado | Transformação | Não Disponível | Opcional | Opcional | Incluso |
| Cluster Snowpark Otimizado* | Transformação | Não Disponível | Não Disponível | Opcional | Opcional |
| Multi-cluster warehouse | Consulta | Não Disponível | Não Disponível | Opcional | Incluso |
| Até 90 dias de Time-Travel | Consulta | Não Disponível | Não Disponível | Opcional | Incluso |
| Rotacionamento Anual da chave de dados criptografados | Consulta | Não Disponível | Não Disponível | Opcional | Incluso |
| Materialized Views | Consulta | Não Disponível | Não Disponível | Opcional | Incluso |
| Search Optimization (Otimização de Busca) | Consulta | Não Disponível | Não Disponível | Opcional | Incluso |
| Dynamic Data Masking (Mascaramento de Dados Dinâmico) | Consulta | Não Disponível | Não Disponível | Opcional | Incluso |
| External Data Tokenization | Consulta | Não Disponível | Não Disponível | Opcional | Incluso |
| GPU | Inteligência | Não Disponível | Não Disponível | Opcional | Opcional |
[*] Só disponível para Cluster com nós maiores que Medium.
[**] Fail-Safe de até 7 dias - disponibilidade imediata. Glacier histórico - via chamado, disponibilidade em até 7 dias
Cloud e Regiões de Disponibilidade
- A Dadosfera SaaS (Tiers Basic Professional, Standard e Advanced) está disponível na AWS - Amazon Web Services, região US - North Virginia
us-east-1
Para Tier Enterprise, temos a seguinte disponibilidade:
| Provedor de Nuvem | Módulos disponíveis | Região |
|---|---|---|
| Amazon Web Services (AWS) | Todos | us-east-1 |
| Google Cloud Platform (GCP) | Inteligência, Transformação, Consulta (DW) | us-east-1 |
| Azure Cloud Platform (Azure) | Consulta (DW/Transformação Massiva) | us-east-1 |
Para disponibilidade em outras regiões e provedores de nuvens, entre em contato.
Updated 5 months ago