Skills
Databricks
PySpark
Kafka
Sobre a Vaga
Na CI&T, ajudamos empresas a transformar o potencial da IA em resultados reais com soluções integradas e AI-native. Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto estratégico com IA Generativa, agentes e multiagentes no domínio de Cadastro de Clientes.
O foco é conceber, construir e evoluir soluções para integração, processamento e análise autônoma de dados, identificando padrões e inconsistências, gerando recomendações e apoiando a tomada de decisão.
Responsabilidades
- Desenvolver, otimizar e manter pipelines de dados escaláveis com Databricks, Spark e PySpark
- Realizar integração, transformação, tratamento e disponibilização de dados cadastrais em larga escala
- Construir e evoluir produtos de dados em ambiente Big Data na nuvem, assegurando performance, confiabilidade e qualidade
- Atuar com governança, qualidade de dados, Golden Record e MDM no contexto de Cadastro de Clientes
- Projetar soluções de dados para viabilizar sistemas inteligentes com IA Generativa, agentes e multiagentes
- Preparar e disponibilizar dados para consumo por Machine Learning, LLMs, agentes autônomos e workflows inteligentes
- Apoiar a análise de dados cadastrais em larga escala, identificando duplicidades, anomalias, gaps e oportunidades
- Implementar mecanismos de dados para alertas e recomendações explicáveis, apoiando decisões de negócio
- Aplicar Analytics e Machine Learning para detecção de anomalias, classificação, clusterização e scoring
- Contribuir com estratégias de qualificação, enriquecimento, priorização e governança de dados
- Explorar arquiteturas como RAG, agentes autônomos, multiagentes e workflows inteligentes
- Trabalhar com processamento de dados em tempo quase real utilizando Kafka
- Apoiar a produtização de modelos no Databricks com práticas de MLOps
- Manter esteiras de CI/CD com GitHub e GitHub Actions, seguindo boas práticas de engenharia
- Colaborar com times de MDM, Dados, Tecnologia e Negócio para garantir soluções mensuráveis e governáveis
- Participar do desenho AS-IS/TO-BE, documentando processos, riscos, débitos técnicos e melhorias
Requisitos
- Experiência sólida como Engenheiro(a) de Dados, Engenheiro(a) de Dados Sênior ou função equivalente
- Forte conhecimento em Python para engenharia de dados, automação e suporte a soluções de IA
- Conhecimento avançado em SQL e exploração de dados estruturados
- Experiência com Databricks, PySpark e Spark
- Vivência na construção e sustentação de pipelines escaláveis
- Experiência em cloud, preferencialmente com Azure Databricks
- Conhecimento em IA Generativa, LLMs e aplicações inteligentes baseadas em dados
- Experiência com RAG e workflows inteligentes (recomendação, automação e suporte a decisões)
- Aplicação de Machine Learning para anomalias, classificação, clustering e scoring
- Experiência com processamento quase em tempo real, preferencialmente com Kafka
- Práticas de MLOps e produtização de modelos no Databricks
- Experiência com CI/CD, especialmente GitHub e GitHub Actions
- Boas práticas de engenharia de dados: versionamento, testes, revisão de código e qualidade
Diferenciais
- Experiência com dados críticos (clientes, identidade, cadastro ou KYC)
- Conhecimento em qualidade de dados, governança, MDM e Golden Record
- Vivência prática com multiagentes e automação cognitiva
- Experiência em ambientes regulados
- Conhecimento em deduplicação, matching e consolidação de dados cadastrais
- Experiência com uso de IA no desenvolvimento (ex.: GitHub Copilot, prompt engineering e code review automatizado)
Beneficios
- Atuação em projeto estratégico com foco em IA Generativa e dados de alto impacto
- Ambiente com práticas de engenharia, governança e colaboração entre áreas
- Oportunidade de evoluir soluções de dados e modelos com abordagem MLOps
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: jobs.lever.co.
Saiba como funciona.