Ingeniería de Datos Azure - Databricks
Ingeniería de Datos Azure - Databricks
Bogotá, CO, 110231
Buscamos una persona con experiencia en Ingeniería de Datos sobre Azure, especializada en Databricks, responsable de diseñar, construir y operar arquitecturas y pipelines de datos orientados a analítica e inteligencia artificial. El perfil deberá garantizar la disponibilidad, calidad, seguridad y escalabilidad de la información en entornos cloud, aplicando buenas prácticas de automatización y gobierno de datos.
Responsabilidades
• Diseñar, construir y optimizar arquitecturas de datos basadas en Azure y Databricks
• Implementar procesos ETL y ELT para integrar múltiples fuentes de información
• Diseñar y administrar arquitecturas Data Lake y Lakehouse
• Monitorear pipelines de datos para garantizar consistencia, calidad, trazabilidad y seguridad
• Preparar y optimizar datasets para analítica avanzada, reporting y modelos de Machine Learning
• Colaborar con equipos de BI, analítica y ciencia de datos para facilitar el acceso a la información
• Definir e implementar controles de gobierno y calidad de datos
• Implementar procesos de integración continua y despliegue continuo para soluciones de datos
• Diseñar soluciones escalables para procesamiento distribuido y grandes volúmenes de datos
• Identificar oportunidades de mejora para optimizar costos, rendimiento y tiempos de procesamiento
• Evaluar nuevas tecnologías y mejores prácticas para la evolución de la plataforma de datos
Requisitos y Calificaciones
• Profesional en Ingeniería de Sistemas, Ingeniería Industrial, Ingeniería Electrónica, Ingeniería Mecatrónica o carreras afines
• Entre 3 y 5 años de experiencia como Ingeniero(a) de Datos
• Dominio avanzado de SQL
• Experiencia en Python o Scala
• Experiencia en procesamiento distribuido con PySpark
• Experiencia con Azure Databricks
• Experiencia con Azure Data Factory
• Experiencia con Azure Data Lake Storage Gen2 (ADLS Gen2)
• Conocimiento de Delta Lake
• Experiencia en arquitecturas Lakehouse
• Conocimiento de arquitectura Medallion
• Experiencia en modelado dimensional
• Experiencia con bases de datos relacionales
• Experiencia con bases de datos NoSQL
• Conocimiento en gobierno y calidad de datos
• Experiencia con Unity Catalog
• Experiencia con Delta Live Tables (DLT)
• Conocimiento de Great Expectations
• Experiencia en procesamiento de streaming mediante Event Hubs
• Experiencia con Azure DevOps y Git
• Conocimiento de Entra ID
• Conocimiento de RBAC
• Manejo de Power BI
• Manejo de Visual Studio Code
• Experiencia en integración de datos y procesos ETL/ELT
• Experiencia en análisis y modelado de datos
Diferenciales
• Experiencia en proyectos de Inteligencia Artificial y Machine Learning
• Conocimiento en DataOps y automatización de plataformas de datos
• Experiencia en optimización de costos en plataformas cloud
• Certificaciones de Azure relacionadas con Data Engineering
• Experiencia avanzada en observabilidad y monitoreo de pipelines de datos
• Participación en iniciativas de modernización de plataformas analíticas
Habilidades blandas
• Comunicación
• Resolución de Problemas
• Pensamiento analítico
• Trabajo en equipo
• Adaptabilidad
• Proactividad
• Autogestión
• Responsabilidad
• Integridad
• Servicio al Cliente
• Toma de Decisiones
• Construcción de Relaciones
• Gestión de Stakeholders
• Pensamiento Estratégico
• Orientación a resultados
En cumplimiento con nuestras disposiciones en materia de protección de datos personales, te informamos que la información que nos proporciones, será tratada conforme al Aviso de Privacidad que encontrarás en nuestra página web.En el apartado: Aviso de privacidad para el tratamiento de datos personales- candidato-