Skills
Databricks
PySpark
SQL
Unity Catalog
Arquitetura medalhão (bronze-silver-gold)
CI/CD e Git
Salesforce
Delta Lake
Sobre a Vaga
Atuará em projeto remoto com duração de 5 meses, com possibilidade de renovação conforme desempenho. O foco é engenharia de dados no ecossistema Databricks Lakehouse, incluindo migração de dados legados e construção/otimização de pipelines, com apoio consultivo ao cliente.
Responsabilidades
- Migrar dados e processos de sistemas legados e transacionais para o Databricks Lakehouse
- Desenvolver e otimizar pipelines de dados usando PySpark e SQL
- Estruturar e manter a arquitetura em camadas (modelo medalhão: bronze, silver e gold)
- Criar e configurar schemas, jobs e integrações do ambiente
- Aplicar práticas de CI/CD e versionamento no Databricks (Repos/Git)
- Garantir governança e segurança dos dados com Unity Catalog
- Atuar de forma consultiva, entendendo necessidades do cliente e propondo soluções
Requisitos
- Experiência prática com Databricks (clusters, jobs, workflows e notebooks)
- Conhecimento em PySpark e SQL para implementação de pipelines
- Vivência na arquitetura medalhão (bronze/silver/gold) e construção de camada semântica
- Uso de Unity Catalog para governança e segurança
- Experiência com CI/CD e versionamento de código no Databricks
- Experiência em migração de dados legados (on-premise ou cloud) para data lakes/lakehouse
- Alguma experiência com cloud (AWS, Azure ou GCP)
Beneficios
- Modelo remoto
- Contrato de 5 meses com possibilidade de renovação