Job Description
Especialista de dados sênior – Sensedia
Efetuar ingestão, transformação e disponibilização de dados num ecossistema Big Data. Realizar tratamento de dados, analisar e avaliar a qualidade e otimizar os processos, quando necessário.
Atividades diárias:
- Implementar e alterar pipelines de dados;
- Criar modelagem de dados;
- Extrair, transformar e carregar (ETL) dados de diferentes origens e formatos;
Requisitos obrigatórios:
- Implementar soluções adequadas ao processamento (batch e stream) de grande volume de dados;
- Experiência nas linguagens Pyspark, Python, SQL para preparar e manipular dados;
- Experiência de leitura e escrita de formatos de dados Big Data e atuação na plataforma cloud Azure;
- Experiência em Databricks, Storage Account, CosmosDB (MongoDB), Data Factory, Azure Devops;
- Capacidade de levantamento e análise de requisitos de negócio e técni...