Job Description
Garantir a qualidade em sistemas de IA Generativa é um desafio único: as respostas podem ser não-determinísticas. Sua missão será desenhar e implementar estratégias de testes que validem não apenas o código, mas a precisão, segurança e confiabilidade dos nossos sistemas agênticos.
Principais Responsabilidades
- Estratégia de Testes de IA: Criar frameworks para validar saídas de LLMs, combatendo alucinações, vieses e garantindo a aderência ao contexto.
- Automação: Desenvolver e manter scripts de automação de testes (E2E, API e Integração) utilizando ferramentas como Playwright ou Cypress.
- Shift-left Testing: Atuar desde a fase de requisitos para garantir que a qualidade seja pensada no início do desenvolvimento.
- Testes de Performance e Segurança: Validar a resiliência das integrações com modelos de IA e a segurança contra vulnerabilidades como prompt injection.
- Monitoramento de Qualidad...