O que esta vaga pede
Apache Spark
Python
Databricks
Spark Structured Streaming
Spark SQL
Delta Lake
Autoloader
ETL
Ver se você combina
Sobre a Vaga
Experian contrata Engenheiro de Dados Pleno em São Paulo para atuar com grandes volumes de dados em ambiente escalável usando Apache Spark/Python em Databricks.
Responsabilidades
- Construir e manter pipelines de ingestão de dados com Autoloader (incremental, schema evolution e otimização de throughput)
- Processar dados em larga escala com Spark Structured Streaming e Spark SQL
- Aplicar boas práticas de engenharia de dados, incluindo particionamento e otimização com Delta Lake
- Usar git e trabalhar com pull requests
- Analisar, melhorar e otimizar custos e performance em Databricks
- Implementar Data Quality
- Criar documentação clara das demandas
- Colaborar com times de negócio e analytics para garantir dados estruturados, disponíveis e com segurança
Requisitos
- Experiência com Databricks para processamento, transformação e análise de grandes volumes de dados
- Conhecimento sólido em processos de ETL (Extração, Transformação e Carga de Dados)
- Experiência em Engenharia de Dados com construção, manutenção e otimização de pipelines escaláveis
- Vivência com arquitetura de dados, modelagem de dados e integração entre fontes
- Capacidade de desenvolver soluções para ambientes de dados em nuvem e ecossistemas de Big Data
- Conhecimento em boas práticas de governança, qualidade e performance de dados
Organizada e reescrita por nós. A candidatura é no site da empresa (jobs.smartrecruiters.com) — daqui você sai preparado.
Saiba como funciona.