Job Description
Atuar no desenvolvimento de soluções para ingestão e tratamento de dados no ambiente Databricks, com garantia de governança, qualidade, segurança e eficiência operacional.
Atividades a serem desenvolvidas
- Migrar pipelines de dados de SQL Server (Integration Services) e Python para Databricks
- Desenvolver processos de ingestão, transformação, garantia de qualidade e disponibilização de dados utilizando Databricks e Delta Lake
- Implementar boas práticas de governança, segurança, qualidade e compliance de dados com o Databricks
- Desenvolver e sustentar fluxos ETL/ELT utilizando serviços do Databricks
- Documentar pipelines e soluções desenvolvidas
- Apoiar equipes de negócio no entendimento de requisitos e tradução para soluções em Databrick