Job Description
Profissional especialista em engenharia de dados, com forte domínio de Databricks/Spark e AWS, capaz de liderar a construção de pipelines e a evolução de arquitetura de Lakehouse com foco em qualidade, automação e otimização de performance e custos.
Responsabilidade e Atribuições
- Desenvolver e manter pipelines: Criar fluxos de ETL/ELT robustos no Databricks, garantindo que os dados brutos cheguem ao ambiente com alta performance e escalabilidade.
- Arquitetura de Medalhão: Estruturar e organizar as camadas Bronze e Silver, garantindo a integridade técnica, particionamento e otimização de custos (S3/AWS).
- Automação e DevOps: Automatizar processos de ingestão e monitoramento de falhas, assegurando a confiabilidade total dos dados.
- Governança Técnica: Implementar controles de acesso, segurança e práticas de qualidade de dados (validação de tipos, schemas e reconciliação).
- Performance do Lakehouse: Atuar como referência té...