AI QA Trainer (LLM Evaluation) | Avaliação e Testes de Modelos | Remoto

Sobre a Vaga

Oportunidade para atuar como AI QA Trainer focado em avaliação de Large Language Models (LLMs). Você contribuirá para aumentar a confiabilidade, precisão e segurança de sistemas avançados de IA por meio de testes estruturados, análise de qualidade e cenários desafiadores.

Responsabilidades

• Realizar avaliação de LLMs com base em testes planejados e estruturados
• Conduzir análises de qualidade para identificar falhas, inconsistências e comportamentos indesejados
• Montar e executar cenários adversariais para medir robustez e segurança
• Projetar frameworks e critérios de avaliação para diferentes casos de uso
• Detectar padrões de erro e sugerir melhorias para aumentar desempenho em raciocínio e tarefas do mundo real
• Colaborar com a equipe para aprimorar a forma como os modelos lidam com informação e decisões

Requisitos

• Experiência com avaliação e testes de sistemas de IA, especialmente LLMs
• Capacidade de criar critérios de qualidade e estruturas de teste
• Conhecimento de abordagens de teste adversarial e análise de falhas
• Boa habilidade de resolução de problemas técnicos e pensamento analítico
• Perfil orientado a confiabilidade, precisão e desenvolvimento responsável de modelos

Beneficios

• Trabalho remoto em regime de contrato
• Impacto direto no avanço de sistemas de IA com foco em segurança e qualidade
• Atuação com tecnologias de ponta em avaliação de modelos