Pessoa Analista de Testes Pleno | Remoto

Sobre a Vaga

Transformar a vida das pessoas através de inovação e tecnologia é o nosso propósito. Estamos procurando um(a) Analista de Testes para impulsionar a inovação conosco. Somos um Instituto de Pesquisa e Desenvolvimento, com ambiente descontraído e muito espírito colaborativo, e valorizamos pessoas como um dos nossos valores centrais.

Responsabilidades

• Realizar testes manuais e automatizados
• Escrever cenários de testes
• Escrever relatórios executivos
• Fazer curadoria de testes e resultados
• Avaliar aplicações baseadas em LLMs e RAG com Ragas e/ou DeepEval
• Automatizar testes com PyTest
• Realizar testes de performance e benchmarking com PyTest-benchmark
• Executar testes de carga e performance com Locust
• Realizar observabilidade de aplicações de IA com LangFuse e/ou Arize Phoenix
• Realizar testes de segurança, vulnerabilidades e robustez de aplicações de IA com Giskard
• Realizar testes adversariais com TextAttack
• Monitorar métricas e performance com Prometheus e Grafana

Requisitos

• Graduação em andamento em Computação, Engenharia de Software ou áreas correlatas
• Sólida experiência em testes
• Testes de API REST
• CI/CD
• GIT (GitHub, Gitlab, Bitbucket etc)
• Linguagem SQL (podendo ter atuado com Oracle, Postgres e MySql)
• Testes de agentes de IA Generativa
• Testes de guardrails
• Testes de segurança em aplicações de IA
• Testes de agentes transacionais e informacionais
• Conhecimento em BDD e padrões como POM
• Linguagem de scripting (Python)
• Testes com Ragas e/ou DeepEval
• Testes com PyTest e PyTest-benchmark
• Testes com Locust
• Testes com LangFuse e/ou Arize Phoenix
• Testes com Giskard
• Testes com TextAttack
• Monitoramento com Prometheus e Grafana

Beneficios

• Diversidade e inclusão como compromisso do instituto