Job Description
Qual a missão do Cargo?
Efetuar ingestão, transformação e disponibilização de dados num ecossistema Big Data. Realizando tratamento de dados, analisando e avaliando a qualidade, e eventual necessidade de otimizar os processos.
Quais serão suas atividades do dia-a-dia?
- Implementar e alterar pipelines de dados;
- Criar modelagem de dados;
- Extrair, transformar e carregar (ETL) dados de diferentes origens e formatos;
Quais são os requisitos obrigatórios para esse cargo?
- Implementar soluções adequadas ao processamento (batch e stream) de grande volume de dados, conforme conhecimentos abaixo:
- Experiência nas Linguagens Pyspark, Python, SQL para preparar e manipular dados;
- Experiência de leitura e escrita de formatos de dados Big Data; Atuar em plataforma cloud Azure;
- Experiência em Databricks , Storage Account, CosmosDB (MongoDB), Data Factory, Azure Devops; <...