Data Engineer
Data Engineer
Medellin, CO, 050021
¿Que buscamos?
Tus principales responsabilidades a desarrollar:
Liderar el discovery de datos para definir la estrategia y el diseño objetivo de ingestión, transformación y gobierno en Azure, integrando fuentes operacionales desde aplicaciones en AWS. Garantizar que la solución futura contemple trazabilidad, calidad de datos y explotación analítica.
Responsabilidades
• Evaluación del estado actual
o Mapear flujos de información end-to-end: orígenes, interfaces, frecuencias, latencias, volúmenes, dependencias y puntos de falla.
o Revisar uso del Data Lake (ADLS): zonificación actual (bronze/silver/gold), formatos (Parquet/Delta), particionamiento, costos y prácticas operativas.
o Diagnóstico de MDM: fuentes de verdad, reconciliación, Golden Record, procesos de sincronización y responsables.
o Identificar brechas en calidad, linaje, seguridad y acceso para analítica/reporting.
• Diseño de la solución futura (alto nivel)
o Definir arquitectura objetivo de datos en Azure (lakehouse) y mecanismos de ingestión desde AWS (CDC, streaming, batch).
o Proponer contratos de datos y esquemas canónicos por dominio; políticas de versionado y SLAs de datasets.
o Estrategia de trazabilidad y calidad: linaje técnico/negocio (Purview), reglas/umbrales de calidad, pruebas automatizadas y scorecards.
o Acceso y explotación analítica: capas gold/semántica, data products, performance, gobernanza de acceso (Entra ID/RBAC).
• Plan de transición y quick wins
o Roadmap por oleadas: priorización de fuentes, migraciones, estandarización y automatización.
o Quick wins: habilitar CDC prioritaria, corregir particionamiento y compactación, habilitar linaje en Purview, controles de calidad críticos.
o Definir KPIs y OKRs del frente de datos (p. ej., % datasets con linaje, % reglas de calidad automatizadas, reducción de fallas en pipelines).
• Facilitación y coordinación
o Workshops con negocio/BI/arquitectura/dev para levantar requerimientos de analítica y operativos.
o Decisiones documentadas (ADRs), catálogos iniciales y acuerdos de gobierno de datos.
o Alineación con Arquitecto de Soluciones para contratos de datos y sincronización AWS→Azure.
Requisitos obligatorios
• 4+ años en ingeniería de datos; experiencia liderando assessments/discovery en Azure.
• ADLS, Databricks/Spark o Synapse, Data Factory; integración desde AWS (S3/Kinesis/DMS) vía CDC/streaming/batch.
• Modelado lakehouse, formatos columnares (Parquet/Delta), particionamiento y performance.
• Gobierno y seguridad: Purview (catálogo/linaje), RBAC/Entra ID, Key Vault, cifrado.
• Data Quality y testing (Great Expectations/Deequ o equivalente) y prácticas de CI/CD para data.
• Trabajo conjunto con Arquitectura/Apps para contratos de datos y sincronización.
Deseables
• Experiencia en MDM/Golden Record y diseño de data products.
• Optimización de costos (FinOps de datos) y observabilidad de pipelines.
• Certificaciones: DP-203 (Azure Data Engineer), Databricks.
Soft skills:
• Mapeo y síntesis clara de entornos complejos; documentación impecable.
• Facilitación técnica con múltiples stakeholders; comunicación efectiva.
• Enfoque en outcomes, priorización y resolución de problemas.
-En cumplimiento con nuestras disposiciones en materia de protección de datos personales, te informamos que la información que nos proporciones, será tratada conforme al Aviso de Privacidad que encontrarás en nuestra página web.En el apartado: Aviso de privacidad para el tratamiento de datos personales- candidato-