O que buscamos:

Profissional que atue como Engenharia de Dados , necessário conhecimento em YAML e que possua disponibilidade para atuação hibrida (2x por semana presencial) no Itaim Bibi – Faria Lima (São Paulo/SP).

Responsabilidades:

• Planejar, projetar e implementar arquiteturas de data lake, com foco em armazenamento escalável, segurança e acessibilidade dos dados.
• Configurar pipelines de dados utilizando AWS Glue, garantindo a extração, transformação e carregamento (ETL) dos dados de forma otimizada.
• Desenvolver e manter templates em YAML para a configuração e automatização de deploys, promovendo a padronização de infraestrutura.
• Utilizar AWS CloudFormation para criar e gerenciar stacks de infraestrutura como código (IaC), garantindo configurações consistentes e automatizadas.
• Implementar e gerenciar funções AWS Lambda para processamento em tempo real e execução de tarefas de ETL e ELT de forma serverless.
• Configurar e gerenciar SNS (Simple Notification Service) e SQS (Simple Queue Service) para orquestração e notificação de eventos, promovendo a comunicação eficiente entre sistemas.
• Configurar Firehose para a entrega de dados em tempo real para o data lake e outros serviços de armazenamento e processamento.
• Colaborar com equipes de desenvolvimento e analytics para assegurar o armazenamento e estruturação dos dados de forma acessível e escalável.

Requisitos e Qualificações: 

• Experiência sólida em arquitetura de data lakes e infraestrutura em nuvem AWS;
• Proficiência com AWS Glue para a criação e otimização de pipelines ETL.;
• Conhecimento em YAML para configuração de deploys e automatização de templates de infraestrutura;
• Experiência com CloudFormation para automação de infraestrutura como código;
• Experiência com AWS Lambda para execução de funções serverless e automação de tarefas de ETL;
• Conhecimento em SNS e SQS para orquestração de eventos e comunicação assíncrona entre sistemas;
• Familiaridade com Firehose para streaming de dados em tempo real para o data lake;
• Habilidade de troubleshooting e otimização de performance em processos de ETL e data pipelines.

Desejável:

• Experiência com arquitetura Lake House, integrando data lakes com data warehouses para uma solução de dados unificada e flexível;
• Certificações AWS ou experiência com outras ferramentas e serviços de dados;
• Iceberg spark;
• Experiência em metodologias ágeis e boas práticas de desenvolvimento;
• Ter experiência na implementação de uma arquitetura de lake house, incluindo integração de data lakes com data warehouses, para proporcionar maior flexibilidade e análise unificada de dados;

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT