Engenharia de Dados AWS Sênior | Remota - 135667
Engenharia de Dados AWS Sênior | Remota - 135667
Alphaville - Barueri, BR, 06.454-000
O que buscamos:
Profissional de nível Sênior que atue com (Dados/AWS).
Responsabilidades:
- Gerenciar schemas, backups, read replicas e parameter groups, além de desenvolver SQL eficiente.
- Criar consultas em bancos SQL e NoSQL, definindo o paradigma adequado para cada necessidade.
- Desenvolver Glue Jobs, configurar crawlers e executar Spark Jobs no EMR.
- Criar transformações em Spark/PySpark para leitura e escrita em diversas fontes.
- Criar e consultar tabelas Iceberg/Delta utilizando time travel e snapshots.
- Otimizar consultas no Athena por meio de particionamento, formatos colunares e workgroups.
- Administrar dados e permissões no Lake Formation.
- Criar schemas, carregar dados (COPY), desenvolver consultas analíticas e administrar usuários no Redshift.
- Desenvolver DAGs no Airflow, configurar connections e agendar workflows.
- Implementar lineage, catalogação, classificação de dados, controles de acesso, validações de schema e versionamento.
- Implementar clusters ElastiCache, cache-aside e TTLs.
Requisitos Obrigatórios
- Conhecimento em Redis e Memcached, conceitos de cache e critérios de utilização.
- Experiência com bancos relacionais, RDS e paradigmas SQL e NoSQL.
- Conhecimento de ETL, AWS Glue, EMR e processamento distribuído com Apache Spark.
- Experiência com ACID em Data Lakes, formatos abertos, Athena, Lake Formation e governança de dados.
- Conhecimento em Data Warehouse MPP e Redshift.
- Familiaridade com Airflow, DAGs, linhagem de dados, rastreabilidade, segurança, compliance, Lakehouse e Data Contracts.
Desejável:
- Experiência em arquitetura e otimização de cache, connection pooling, failover Multi-AZ, performance tuning, IAM e criptografia.
- Modelagem orientada a access patterns, estratégias de consistência e otimização de consultas.
- Conhecimento avançado em Glue, EMR, Spark, Data Quality, schema evolution e formatos Iceberg, Delta e Hudi.
- Experiência com Athena, Glue Catalog, Lake Formation, permissões granulares e compartilhamento cross-account.
- Conhecimento avançado em Redshift, materialized views, workload management e data sharing.
- Desenvolvimento de DAGs complexas, MWAA, operadores customizados, retries e observabilidade.
- Experiência em governança de dados, lineage, metadados, métricas de qualidade, Data Contracts e schema registries.
Descrição comportamental:
Procuramos uma pessoa que:
- Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
- Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
- Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
- Tenha habilidades de resolução de problemas;
- Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
- Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Big enough to deliver – small enough to care.
#VempraGFT
#VamosVoarJuntos
#ProudToBeGFT