Job Description
Qual será a sua missão?
- Administrar clusters Amazon EMR, incluindo provisionamento, configuração e gerenciamento;
- Otimizar dimensionamento, auto scaling e performance dos clusters;
- Gerenciar componentes do ecossistema Hadoop (HDFS, YARN, Hive, Spark);
- Atuar na operação de plataformas de Big Data, incluindo instalação, configuração e atualização de ferramentas;
- Monitorar a saúde dos clusters e realizar troubleshooting de falhas;
- Gerenciar pipelines de ingestão de dados (Kafka, Kinesis, AWS Glue);
- Implementar práticas de segurança no EMR utilizando IAM, Kerberos, KMS e configurações de VPC;
- Garantir conformidade com padrões de segurança e governança;
- Automatizar provisionamento de infraestrutura com Terraform, CloudFormation ou CDK;
- Desenvolver e manter pipelines de CI/CD (AWS tools ou Jenkins);
- Implementar estratégias de otimização de custos em ambiente cloud; ...