Job Description
Como é ser uma pessoa Sênior Data Engineer:
Este perfil é o arquiteto da fundação. O foco não é criar o pipeline de um ponto A para B, mas sim garantir que o ambiente de armazenamento seja escalável, seguro e organizado.
Responsabilidades:
- Propor o melhor tipo de arquitetura para criação de pipeline de dados com base em um problema pré-definido (ex.: arquitetura lambda, arquitetura kappa, ETL, Scraping, etc).
- Ter conhecimento avançado de cloud computing e conseguir defender as melhores peças de infraestrutura para um problema proposto (ex.: Kubernetes, VMs, ECS, etc).
- Identificar e propor otimizações para problemas de performance em alguma etapa da arquitetura de dados (ex.: clusters de Spark, clusters de Kafka, bancos de dados, etc).
- Atuar em incidentes complexos, implementar monitoramentos e propor soluções que resolvam o problema na causa raiz.