
Especialista en Ingeniería de Datos Cloud – Databricks & Azure / Virtual
4 años de experiencia, Profesional hasta Especialización/ Maestría
Salario a convenir
Bogotá, D.C. - Medellín
Requisitos para aplicar a la vacante:
Misión
¿Te apasiona transformar datos en soluciones estratégicas? Únete a nuestro equipo como Especialista en Ingeniería de Datos Cloud y participa en proyectos de modernización, integración y transformación de datos sobre plataformas cloud con énfasis en Databricks y ecosistemas de datos empresariales. Trabajarás de la mano con equipos de Data Analytics, Data Science, Arquitectura y Negocio para desarrollar soluciones escalables, seguras y de alto rendimiento, garantizando la calidad, disponibilidad y gobierno de los datos que impulsan la toma de decisiones y las iniciativas de inteligencia artificial de la organización.
Responsabilidades
- Diseñar, desarrollar y optimizar pipelines de datos utilizando Databricks, Python, PySpark y herramientas cloud, garantizando la disponibilidad, calidad y rendimiento de la información.
- Diseñar y ejecutar procesos de ingesta de datos desde múltiples fuentes estructuradas, semi-estructuradas y no estructuradas, incluyendo bases de datos relacionales, APIs, archivos planos, servicios cloud y mecanismos de CDC (Change Data Capture).
- Implementar procesos ETL y ELT para grandes volúmenes de información (Big Data), asegurando estándares de calidad, trazabilidad, monitoreo y rendimient
- Desarrollar y optimizar soluciones de almacenamiento en Data Lakes y plataformas analíticas basadas en Delta Lake, aplicando buenas prácticas de organización, particionamiento y optimización de datos.
- Implementar procesos de automatización, despliegue y versionamiento mediante herramientas de DevOps, CI/CD e Infraestructura como Código (IaC), garantizando la estabilidad y escalabilidad de las soluciones desarrolladas.
- Participar en proyectos de modernización de plataformas de datos, migración a entornos cloud e integración de nuevas fuentes de información para iniciativas analíticas, operativas y de inteligencia artificial.
- Colaborar con equipos multidisciplinarios para comprender necesidades de negocio, definir soluciones de datos y asegurar la entrega oportuna de proyectos de ingeniería de datos.
- Aplicar principios de gobierno de datos relacionados con calidad, linaje, catalogación, anonimización, gestión de metadatos y control de acceso a la información.
Requisitos
Formación académica
Profesional en Ingeniería de Sistemas Ingeniería Informática, Ciencias de la Computación Matemáticas, Estadística, Ingeniería Electrónica o carreras afines
Experiencia profesional
- Mínimo 4 años de experiencia en roles relacionados con Ingeniería de Datos.
- Experiencia demostrable en desarrollo de soluciones con Databricks.
- Experiencia en construcción de procesos ETL/ELT, integración de datos y proyectos de analítica de datos.
- Experiencia en trabajo con grandes volúmenes de información (Big Data).
Conocimientos Adicionales:
Databricks
- Desarrollo de soluciones sobre Databricks.
- Databricks Jobs.
- Notebooks.
- Delta Lake.
- Unity Catalog.
- Optimización y monitoreo de cargas de datos.
Procesamiento de datos
- Diseño e implementación de procesos ETL y ELT.
- Procesamiento de datos estructurados, semi-estructurados y no estructurados.
- Integración mediante APIs.
- Procesamiento Batch y CDC.
Entornos Cloud
- Experiencia en plataformas cloud, preferiblemente Azure.
- Conocimiento de Azure Data Factory, Azure Data Lake Storage y servicios de integración de datos.
- Se valorará experiencia en AWS o Google Cloud Platform.
Lenguajes de programación
- Dominio de Python.
- PySpark para procesamiento distribuido.
- SQL avanzado.
Bases de datos
- Conocimientos en bases de datos relacionales y NoSQL.
- Modelamiento de datos para entornos analíticos
DevOps y automatización
- Azure DevOps.
- CI/CD.
- Databricks Asset Bundles.
- Infraestructura como Código (IaC).
Gobierno de datos
- Calidad de datos.
- Catalogación.
- Gestión de metadatos.
- Anonimización y protección de datos.
Inglés técnico
- Capacidad para comprender documentación técnica especializada.
Consideraciones Especiales
- Modalidad de trabajo: 100% Remoto.
- Disponibilidad ocasional para asistir a eventos, congresos, capacitaciones o encuentros corporativos.
- Participación en proyectos de TD e IA.
Habilidades
- Cloud
- Azure
Palabras clave:
Cloud, Datos, Databricks, Azure
Ver empresa: Finanzas y Servicios IT
