Skills
Apache Spark
Databricks
Delta Lake
Sobre a Vaga
Atue na construção e evolução de pipelines de dados em um ambiente escalável, com foco em processamento de grandes volumes usando Apache Spark, Python e Databricks. A posição faz parte de uma iniciativa afirmativa para mulheres, contribuindo para arquiteturas modernas, eficientes e seguras.
Responsabilidades
- Desenvolver, otimizar e manter pipelines de ingestão com Autoloader (incremental, schema evolution e ajuste de throughput)
- Processar dados em larga escala com Spark Structured Streaming e Spark SQL
- Aplicar boas práticas de engenharia de dados, como particionamento e otimização com Delta Lake
- Garantir controle de versão com Git e participação em pull requests
- Monitorar e melhorar custos e performance no ecossistema Databricks
- Implementar rotinas de Data Quality e apoiar a governança de dados
- Produzir documentação clara das demandas e do que foi implementado
- Colaborar com times de negócio e analytics para assegurar que os dados sejam estruturados e disponibilizados com segurança
Requisitos
- Experiência com Databricks para processamento, transformação e análise de grandes volumes
- Conhecimento sólido em ETL (extração, transformação e carga) e integração de dados
- Vivência em engenharia de dados: construção, manutenção e otimização de pipelines escaláveis
- Capacidade de atuar com arquitetura e modelagem de dados, conectando diferentes fontes
- Experiência com ambientes de nuvem e ecossistemas de Big Data
- Conhecimento em governança, qualidade e performance de dados
Beneficios
- Ambiente inclusivo e cultura orientada por propósito
- Programas e reconhecimento de mercado voltados ao bem-estar e desenvolvimento
- Oportunidade de atuar com tecnologia e times especializados em dados
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: jobs.smartrecruiters.com.
Saiba como funciona.