Databricks Data Engineer | Senior (Remote)

.

Responsabilidades e atribuições

• Atuar no desenvolvimento, implementação e evolução de soluções de Engenharia de Dados utilizando o ecossistema Databricks
• Definir e implementar arquiteturas de dados escaláveis, baseadas no modelo Lakehouse e na arquitetura Medallion (Bronze, Silver e Gold)
• Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, PySpark, Spark SQL e Delta Lake
• Implementar soluções de ingestão, processamento e integração de dados, incluindo CDC e Structured Streaming
• Atuar na orquestração de pipelines e integração de sistemas por meio do Azure Data Factory (ADF)
• Desenvolver APIs REST, microsserviços e automações utilizando Python
• Garantir a governança, segurança, linhagem e controle de acesso aos dados
• Realizar otimizações de performance, escalabilidade e custos de processamento
• Atuar na observabilidade, monitoramento e sustentação de pipelines em produção
• Ser referência técnica para o time, orientando profissionais e estabelecendo boas práticas de Engenharia de Dados.

Requisitos e qualificações

• Experiência sólida e avançada em projetos produtivos com Databricks
• Domínio de PySpark, Spark SQL, Delta Lake e Apache Spark
• Experiência com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming
• Experiência com Liquid Clustering, Auto Loader e otimização de tabelas Delta
• Conhecimento avançado em Unity Catalog, governança, segurança, linhagem e controle de acesso
• Experiência na definição de arquiteturas de dados, modelo Lakehouse e arquitetura Medallion
• Experiência com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados
• Domínio de Python para desenvolvimento de APIs REST, microsserviços e automações
• Experiência com Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução
• Conhecimento em Databricks Workflows, CI/CD, Git e Declarative Automation Bundles
• Experiência com otimização de workloads, dimensionamento de recursos computacionais e redução de custos
• Vivência com observabilidade, monitoramento e sustentação de pipelines em produção
• Autonomia na resolução de problemas técnicos complexos e capacidade de tomada de decisão arquitetural
• Experiência como referência técnica, apoiando e orientando outros profissionais. Certificações: Obrigatória: Databricks Certified Data Engineer Associate. Fortemente desejável: Databricks Certified Data Engineer Professional. Diferencial: Databricks Certified Associate Developer for Apache Spark. Desejável: certificações AWS, Azure ou GCP relacionadas à Engenharia de Dados e Arquitetura de Soluções.

Informações adicionais

Benefícios

• Vale-alimentação e/ou vale-refeição
• Plano de saúde e plano odontológico
• Plano de saúde para o seu pet
• Auxílio home office (para vagas remotas)
• Kit de boas-vindas no onboarding
• Seguro de vida
• Zenklub, com acompanhamento psicológico e nutricional
• Total

• Pass
• Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce)
• Parcerias e descontos para o seu desenvolvimento
• Acesso ao conteúdo UOL
• Kit maternidade
• Licença maternidade e paternidade estendidas
• Programa de indicações.