Skills
Sobre a Vaga
A 3M busca um(a) Senior Data Engineer para atuar no Corporate Research Digital Platforms (CRDP), ajudando a desenhar, construir e operar pipelines de dados escaláveis e produtos de dados em uma plataforma cloud no modelo Lakehouse. Você trabalhará com fluxos orientados a dados e também com rotinas habilitadas por IA, apoiando analytics, informatics e casos emergentes.
Responsabilidades
- Projetar, desenvolver e manter pipelines de dados para ingestão, transformação e entrega de dados estruturados e não estruturados
- Construir pipelines batch e streaming em plataformas cloud, com foco em Databricks
- Otimizar desempenho, escalabilidade e eficiência de custos dos fluxos de dados
- Investigar falhas, atrasos (latência) e problemas de qualidade dos dados
- Integrar pipelines à arquitetura Lakehouse com Databricks e Delta Lake
- Conectar pipelines a serviços de plataforma como metadata (DataHub), orquestração (Temporal) e AWS
- Apoiar a preparação de dados para IA/GenAI, incluindo geração de features e ingestão/extração de conteúdo
- Participar de rotinas de operação, observabilidade e melhoria contínua da confiabilidade em produção
Requisitos
- Formação superior completa (ou em andamento) em Ciência da Computação, Engenharia ou áreas correlatas
- Experiência sênior em engenharia de dados e/ou plataformas de dados
- Forte domínio de SQL e Python (com PySpark como diferencial)
- Experiência prática com Apache Spark e processamento distribuído
- Vivência com Databricks e/ou arquiteturas Lakehouse (Databricks é fortemente preferido)
- Conhecimento de AWS (ex.: S3, Glue)
- Base sólida em modelagem de dados, transformação e conceitos de data warehousing
- Experiência em times multidisciplinares e ambiente cross-functional
- Inglês para trabalho
Beneficios
- Pacote de benefícios competitivo, com programas voltados ao bem-estar físico e financeiro
- Atuação em ambiente global com oportunidades de colaboração e desenvolvimento