123Vagas
Entrar / Criar conta Vagas
Modalidade
Contratos
Senioridade
Para Empresas Skills Blog
Ferramentas
123Vagas Plus
Entrar como empresa Cadastrar empresa grátis

Data Engineer (Databricks) | SR (Remote)

Salário
Não informado
Modelo
Remoto
Publicada
06/11/2026

O que esta vaga pede

Databricks PySpark Spark SQL Delta Lake Azure Data Factory Python Apache Spark Kafka
Ver se você combina

.

Responsabilidades e atribuições

Atuar na definição e evolução de arquiteturas de dados utilizando Databricks, garantindo a otimização de pipelines, a eficiência do processamento e a resolução de problemas técnicos de alta complexidade.

Contrução e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance. Trabalhar com Apache Spark, Airflow, Kafka, dbt, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (Databricks, AWS Glue, BigQuery). Projetar, definir e implementar arquiteturas de dados escaláveis, utilizando o modelo Lakehouse e a arquitetura Medallion (Bronze, Silver e Gold). Implementar soluções de processamento de dados em batch e streaming, incluindo CDC e Structured Streaming. Desenvolver e orquestrar processos de ingestão e integração de dados utilizando Azure Data Factory (ADF), Auto Loader e Lakeflow. Implementar práticas de governança, segurança e controle de acesso aos dados por meio do Unity Catalog. Desenvolver APIs REST, integrações e automações utilizando Python. Implementar processos de CI/CD, versionamento e automação de deploy utilizando Git e Databricks Workflows.

Requisitos e qualificações

Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake. Experiência sólida com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming. Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta. Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso. Experiência na definição e implementação de Arquitetura de Dados, incluindo modelo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold). Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados. Experiência em Desenvolvimento de APIs (REST) e programação avançada em Python para construção de integrações, microsserviços e automações. Conhecimento avançado em Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução. Experiência com Databricks Workflows, CI/CD, Git e Declarative Automation Bundles. Capacidade de otimizar workloads, dimensionar recursos computacionais e reduzir custos de processamento. Experiência em observabilidade, monitoramento e sustentação de pipelines em produção. Capacidade de atuar como referência técnica, orientar profissionais e estabelecer boas práticas de engenharia de dados. Certificações: Databricks Certified Data Engineer Associate; Databricks Certified Data Engineer Professional.

Informações adicionais

Benefícios

  • Vale-alimentação e/ou vale-refeição
  • Plano de saúde e plano odontológico
  • Plano de saúde para o seu pet
  • Auxílio home office (para vagas remotas)
  • Kit de boas-vindas no onboarding
  • Seguro de vida
  • Zenklub, com acompanhamento psicológico e nutricional
  • Total
  • Pass
  • Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce)
  • Parcerias e descontos para o seu desenvolvimento
  • Acesso ao conteúdo UOL
  • Kit maternidade
  • Licença maternidade e paternidade estendidas
  • Programa de indicações.

Prepare esta candidatura

Veja o match, prepare o currículo em PDF e Word para esta vaga, e só então vá ao site da empresa.

Título e texto são os da empresa. A candidatura é no site da empresa (compass.gupy.io) — daqui você sai preparado. Saiba como funciona.
Publicada em 6 de novembro de 2026

Candidatura no site da empresa · compass.gupy.io