Engenharia de Dados - Híbrido/SP- 132194
Engenharia de Dados - Híbrido/SP- 132194
Alphaville - Barueri, BR, 06.454-000
O que buscamos
A A5X é uma nova bolsa de valores brasileira, criada para transformar o mercado financeiro nacional, com foco em derivativos, alta performance e inovação tecnológica. Atuando como concorrente da B3, a A5X nasce com forte credibilidade: seus principais participantes de mercado são também sócios da companhia, além de contar com uma parceria estratégica com a LSEG (London Stock Exchange Group).
Estamos construindo a plataforma core de dados que sustenta toda a operação da exchange — com stack distribuído, baixa latência e volume real de mercado. Buscamos uma pessoa Data Engineer Pleno para atuar nesse ambiente crítico, colaborando na construção e manutenção dos pipelines que alimentam a operação e os produtos analíticos da plataforma.
Vaga em modelo híbrido. 3x região Vila Nova Conceição/SP
Responsabilidades
• Construir e manter pipelines de dados batch e micro‑batch com foco em confiabilidade e idempotência;
• Implementar transformações de dados conforme modelos definidos pelo time (dimensional, One Big Table);
• Aplicar estratégias de Slowly Changing Dimensions (SCD) conforme a modelagem adotada;
• Implementar validações de qualidade de dados nos pipelines (schema validation, completeness, freshness);
• Monitorar pipelines, investigar falhas e atuar na resolução de incidentes;
• Contribuir com documentação técnica de pipelines e modelos de dados;
• Participar da definição de estratégias de particionamento e compactação de dados;
• Colaborar com times de analytics na disponibilização e consumo eficiente dos dados;
Requisitos e Qualificações
• Experiência na construção de pipelines de dados em ambientes cloud (preferencialmente AWS);
• Conhecimento em modelagem dimensional (Star Schema, Snowflake) e conceitos de Data Warehouse;
• Experiência sólida com SQL (joins, window functions, CTEs, otimização de queries);
• Conhecimento em Python para processamento e transformação de dados;
• Familiaridade com formatos colunares como Apache Parquet e conceitos de compressão;
• Experiência com orquestração de pipelines (Apache Airflow ou equivalente);
• Entendimento de conceitos de data quality e validação de dados;
Ferramentas e Tecnologias
• Processamento de dados: Apache Spark, DuckDB, Polars;
• Data Quality: Great Expectations, Soda Core ou PyDeequ;
• Formatos e Table Formats: Apache Parquet, Apache Iceberg;
• Orquestração: Apache Airflow ou equivalente;
• Cloud: AWS;
• Linguagens: Python e SQL;
Diferenciais
• Experiência com streaming de dados (Kafka, Flink);
• Conhecimento em Slowly Changing Dimensions e técnicas de historização;
• Familiaridade com data contracts e conceitos de data mesh;
• Experiência com ClickHouse ou outras engines analíticas;
• Conhecimento em infraestrutura como código (Terraform);
• Inglês intermediário;
Descrição comportamental:
Procuramos uma pessoa que:
- Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
- Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
- Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
- Tenha habilidades de resolução de problemas;
- Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
- Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Big enough to deliver – small enough to care.
#VempraGFT
#Let’sGoBeyond
#ProudToBeGFT