Skills
Databricks
Apache Spark (PySpark e Spark SQL)
Delta Lake e Unity Catalog
Sobre a Vaga
Na VONBZ, conectamos talentos a projetos de alto impacto. Você atuará em uma empresa de MediaTech que utiliza um ecossistema digital de recompensas e benefícios, com foco em escalabilidade, governança e inovação em dados.
Contratação direta pelo cliente, via CLT, em modelo híbrido (até 2 dias de home office por semana).
Responsabilidades
- Projetar, implementar e manter pipelines de dados na plataforma Databricks, incluindo processamento batch e streaming
- Desenhar e evoluir a arquitetura Lakehouse com camadas Bronze, Silver e Gold
- Administrar Delta Lake e Unity Catalog, aplicando governança, segurança e catalogação de dados
- Otimizar performance e custos de workloads Spark com tuning, particionamento, caching e dimensionamento de clusters
- Definir padrões de desenvolvimento, realizar code reviews e disseminar boas práticas de engenharia de dados
- Implementar e evoluir CI/CD para pipelines usando Databricks Asset Bundles, Terraform e automações
- Apoiar times de Analytics, Produto e Data Science no consumo de dados confiáveis e escaláveis
- Garantir observabilidade com monitoramento, alertas, lineage e iniciativas de qualidade de dados
Requisitos
- Experiência sólida com Databricks em ambientes produtivos de grande escala
- Domínio de Apache Spark, com PySpark e Spark SQL
- Conhecimento avançado em Delta Lake e arquitetura Lakehouse
- Experiência com Unity Catalog ou Hive Metastore e estratégias de migração
- Proficiência em Python e SQL avançado
- Experiência com pelo menos um provedor de nuvem: AWS, Azure ou GCP
- Conhecimento em modelagem de dados (modelagem dimensional, Data Vault ou abordagens similares)
- Vivência com orquestração (Databricks Workflows, Airflow ou equivalentes)
- Experiência com Git e práticas de CI/CD aplicadas a pipelines de dados
Beneficios
- Auxílio Refeição (Cartão iFood Benefícios)
- Assistência Médica SulAmérica (coparticipação)
- Assistência Odontológica SulAmérica
- Seguro de Vida SulAmérica
- Auxílio Creche para filhos de até 5 anos e 11 meses
- Auxílio Mobilidade
- Estacionamento com 50% subsidiado
- Day Off no aniversário
- Wellhub (Gympass)
- Boon (psicologia, assistência social, assistência jurídica, assistência financeira, nutrição e educação)