Data Engineer
Data Engineer
Medellin, CO, 050021
¿Qué buscamos?
Ingeniero de Datos
Tus principales responsabilidades a desarrollar:
- Diseñar, desarrollar y mantener pipelines ETL/ELT utilizando Apache Spark y AWS Glue.
- Procesar, transformar y cargar grandes volúmenes de información financiera en entornos cloud (AWS).
- Implementar lógica de transformación y conversión de datos contables (mapeo de cuentas, reglas de conversión y validaciones de integridad).
- Gestionar catálogos de datos en AWS Glue Data Catalog.
- Optimizar consultas y procesamiento sobre S3, Redshift y RDS.
- Garantizar la calidad, trazabilidad y linaje de datos en todas las etapas del pipeline.
- Desarrollar scripts en Python para automatización, limpieza y validación de datos.
Habilidades Técnicas Requeridas:
- Apache Spark (Big Data / procesamiento distribuido).
- AWS Glue (ETL/ELT).
- Servicios AWS: S3, Redshift, RDS.
- Python para procesamiento y automatización de datos.
- Diseño e implementación de pipelines de datos.
- Gestión de calidad, trazabilidad y linaje de datos.
- AWS Glue Data Catalog.
Habilidades Técnicas Deseadas:
- Conocimientos en procesamiento de datos a gran escala (Big Data).
- Experiencia en contextos de datos financieros o contables.
- Conocimientos en prácticas de Data Science aplicadas al procesamiento de datos.
Habilidades Blandas:
- Capacidad analítica y orientación a la calidad del dato.
- Comunicación efectiva para interactuar con equipos funcionales.
- Organización y documentación de información técnica.
- Trabajo colaborativo.
- Atención al detalle.