Job Description
Lo que harás en este rol
- Diseñar, desarrollar y optimizar procesos ETL utilizando Python para el procesamiento de grandes volúmenes de datos.
- Implementar y gestionar workflows en Apache Airflow para automatizar procesos y orquestar pipelines de datos.
- Integrar múltiples fuentes de datos como bases de datos relacionales, NoSQL, APIs REST/SOAP y archivos planos.
- Diseñar y optimizar consultas SQL para PostgreSQL, MySQL u otros motores relacionales.
- Implementar estrategias seguras de transferencia de archivos mediante SFTP o servicios cloud.
- Desarrollar pipelines resilientes y escalables utilizando herramientas como Pandas, PySpark o Dask.
- Implementar procesos de validación, limpieza y saneamiento de datos.
- Diseñar mecanismos de manejo de errores, monitoreo y reintentos para procesos críticos ETL.
- Implementar pruebas unitarias e integraciones para asegurar calidad y estabilidad de las soluciones.