Engenharia de Dados Sênior - 134799
Engenharia de Dados Sênior - 134799
Alphaville - Barueri, BR, 06.454-000
O que buscamos:
Buscamos um(a) Engenheiro(a) de Dados para atuar no programa de modernização e migração do Data Warehouse legado para um Enterprise Lakehouse Databricks. A posição será responsável por conduzir a transição dos consumidores de dados para a nova plataforma, garantindo a construção de camadas de consumo escaláveis, qualidade dos dados e validação de paridade entre o ambiente legado e a arquitetura moderna baseada em Data Mesh.
Responsabilidades:
- Mapear e inventariar consumidores do Data Warehouse legado, incluindo dashboards, relatórios, aplicações e integrações sistêmicas;
- Classificar consumidores por domínio de negócio, criticidade e prioridade de migração;
- Modelar e construir marts de consumo na camada Gold seguindo padrões de arquitetura medalhão e contratos de dados;
- Executar o reapontamento de dashboards, relatórios, aplicações e integrações para a nova plataforma de dados;
- Conduzir migrações em ondas (Waves), alinhadas ao planejamento e cronograma dos domínios de negócio;
- Validar a paridade de dados entre os ambientes legado e Lakehouse antes da desativação das cargas antigas;
- Desenvolver automações para reconciliação, validação e monitoramento da qualidade dos dados;
- Atuar em conjunto com Product Owners, Arquitetos de Dados e times de negócio na priorização e execução das migrações;
- Garantir aderência aos modelos de governança, contratos de dados e padrões corporativos definidos para a plataforma;
- Contribuir para documentação técnica, definição de boas práticas e evolução contínua da arquitetura de consumo.
Requisitos Obrigatórios:
- Experiência sólida em Analytics Engineering ou Engenharia de Dados voltada para camadas de consumo analítico;
- Experiência com modelagem dimensional, Data Marts e arquitetura Kimball (Star Schema);
- Conhecimento em camada semântica, métricas certificadas e governança de indicadores;
- Experiência com Databricks, Spark SQL e Delta Lake em ambientes produtivos;
- Conhecimento da arquitetura medalhão (Bronze, Silver e Gold);
- Experiência com reapontamento e migração de soluções de BI, incluindo Power BI, Tableau ou ferramentas similares;
- Experiência na refatoração de datasets e validação de consistência entre fontes de dados;
- Vivência com integrações sistêmicas de dados, APIs, extrações batch e cargas entre sistemas;
- Conhecimento avançado em SQL para reconciliação e comparação de grandes volumes de dados;
- Experiência com Unity Catalog para lineage, descoberta e documentação de ativos de dados;
- Conhecimento em Python e PySpark para automação de validações e processos de migração;
- Experiência com Data Quality, Data Contracts e mecanismos de validação de dados.
- Capacidade analítica para identificar impactos e conduzir processos complexos de modernização de dados;
Requisitos Diferenciais:
- Experiência em projetos de migração de Data Warehouse com coexistência entre ambientes legado e plataforma moderna;
- Vivência com estratégias de cutover por ondas e reconciliação de dados em larga escala;
- Experiência em iniciativas baseadas nos princípios de Data Mesh;
- Conhecimento em ferramentas ETL legadas, como DataStage ou similares;
- Experiência com camadas semânticas, catálogos de métricas e governança analítica;
- Conhecimento em Observabilidade de dados e monitoramento da qualidade da camada de consumo;
- Experiência no mercado financeiro, bancário ou de crédito;
- Certificações Databricks, como Data Analyst Associate ou Data Engineer Associate;
- Conhecimento em padrões abertos de contratos de dados, como Open Data Contract Standard (ODCS/ODPS);
- Experiência em programas de transformação, modernização ou migração de plataformas corporativas de dados.
Descrição comportamental:
Procuramos uma pessoa que:
- Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
- Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
- Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
- Tenha habilidades de resolução de problemas;
- Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
- Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Big enough to deliver – small enough to care.
#VempraGFT
#VamosVoarJuntos
#ProudToBeGFT