Skills
PySpark
Spark SQL
Databricks Delta Lake
Sobre a Vaga
Você vai atuar em um projeto estratégico de migração do Data Warehouse legado para um Enterprise Lakehouse na plataforma Databricks. O foco é reconstruir e modernizar pipelines, garantindo paridade entre o ambiente atual e o novo ecossistema, com qualidade, desempenho e controle de custos.
Responsabilidades
- Reimplementar pipelines do Data Warehouse legado em Databricks usando PySpark e Spark SQL
- Construir camadas bronze, silver e gold seguindo a arquitetura medalhão
- Aplicar ingestão CDC e batch conforme diretrizes do projeto
- Executar waves de reconstrução por domínio em coexistência com o DW legado até o cutover
- Implementar regras de negócio e transformações com testes automatizados
- Realizar reconciliação e validação de paridade entre dados do legado e do Lakehouse
- Otimizar performance e custos com técnicas como particionamento, OPTIMIZE e Z-ORDER
- Dimensionar workloads e ajustar configurações para melhor eficiência
- Contribuir com documentação técnica das regras migradas
- Apoiar a priorização e execução das frentes de migração
Requisitos
- Conhecimento avançado em PySpark e Python
- Experiência com desenvolvimento de pipelines batch em larga escala
- Conhecimento avançado em SQL
- Experiência com modelagem de dados relacional e dimensional
- Experiência com Databricks e Delta Lake em ambiente produtivo
- Conhecimento da arquitetura medalhão (bronze/silver/gold)
- Experiência com Delta Live Tables, Lakeflow e Asset Bundles
- Vivência em migração ou reconstrução de pipelines ETL
- Experiência com tradução de regras de negócio de plataformas legadas para Spark
- Conhecimento em ingestão CDC e batch a partir de bancos relacionais
- Experiência com qualidade e reconciliação de dados, controles de Data Quality e testes automatizados
- Experiência com Git e CI/CD em engenharia de dados
- Conhecimento em AWS (S3, Glue, EMR, Athena, Lambda, DMS, Step Functions)
- Conhecimento em Azure Synapse (SQL Pools e Pipelines)
Beneficios
- Atuação em projeto estratégico de modernização de dados
- Ambiente remoto com foco em entregas e qualidade técnica
- Oportunidade de evolução em práticas modernas de engenharia de dados no Lakehouse
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: empregos.com.br.
Saiba como funciona.