Skills
Sobre a Vaga
Estamos buscando um Research Engineer para apoiar a criação de datasets de padrão avançado, ambientes de RL e avaliações que impulsionem modelos de ponta para laboratórios de IA e clientes corporativos. A função é altamente prática e voltada para pesquisa, com atuação direta junto a pesquisadores e engenheiros para transformar objetivos de pós-treinamento em requisitos claros de dados e ambientes.
Responsabilidades
- Traduzir metas de pesquisa em especificações de dados: habilidades-alvo, modos de falha, calibração de dificuldade, cobertura e métricas de sucesso
- Definir critérios de qualidade com rubricas detalhadas, exemplos-limite e contramodelos (o que incluir e o que excluir)
- Realizar auditorias profundas de dados para identificar erros sutis, oportunidades de reward hacking, vazamento de informação, ambiguidade e mudanças de distribuição
- Projetar e construir datasets e ambientes de RL para áreas de atuação como agentes de codificação, ambientes com verificador, multimodalidade e raciocínio STEM
- Implementar validações, denoising e geração/síntese de dados com foco em sinal-ruído elevado (deduplicação, checagens de contaminação/vazamento e consistência)
- Desenvolver controles de diversidade e dificuldade (cobertura, novidade e cauda longa), além de pipelines de geração programática e simulações quando aplicável
- Conduzir avaliações e experimentos para comprovar impacto: análises pré/pós, quebras por fatias e ablações para identificar atributos que geram ganho
- Colaborar com times grandes de produção fornecendo especificações, exemplos e edge cases, com ciclos de feedback baseados em auditorias e métricas
Requisitos
- Experiência entre 4 e 5 anos construindo ou aprimorando sistemas de deep learning, com impacto relevante de qualidade de dados em treino, pós-treino e avaliação
- Boa intuição sobre “ingredientes de dados” para melhoria de modelos: o que coletar, o que filtrar, o que sintetizar e como medir
- Capacidade de comunicação clara com pesquisadores e engenheiros, convertendo objetivos de pesquisa em requisitos executáveis
- Atenção a detalhes para diagnosticar falhas e problemas complexos de qualidade de dados
- Programação sólida, com Python como requisito
- Preferência por experiência com SQL e fluxos de dados estruturados
- Conhecimento em validação e qualidade: rubricas, scripts de validação, gold sets, estratégias de amostragem e checagens estatísticas por fatias
- Experiência adicional é bem-vinda em RL/pós-treinamento (ex.: RLHF/RLAIF, reward modeling, fine-tuning por RL) e em avaliação de agentes (tool use e tarefas long-horizon)
- Conhecimentos em multimodalidade (documentos, gráficos, OCR e UI/vision grounding) e/ou STEM (com foco em verificabilidade) são diferenciais
Beneficios
- Atuação remota com possibilidade de realizar o trabalho em qualquer lugar do Brasil
- Contato direto com laboratórios de IA e empresas, com foco em pós-treinamento e desenho de ambientes de RL
- Impacto real ao melhorar datasets, ambientes e avaliações para elevar o desempenho mensurável de modelos