Skills
Databricks
Unity Catalog
Delta Lake
Data Mesh
AWS
PySpark
CI/CD
Infrastructure as Code (Terraform)
Sobre a Vaga
Estamos buscando um(a) Engenheiro(a) de Dados Sênior para atuar no time de Lakehouse Platform, contribuindo para a construção de um Enterprise Lakehouse baseado em Databricks e estruturado com princípios de Data Mesh. O(a) profissional ficará responsável por definir padrões, evoluir frameworks e sustentar a governança e a automação da plataforma de dados.
Responsabilidades
- Construir e evoluir a plataforma Enterprise Lakehouse baseada em Databricks e Data Mesh
- Implementar e administrar o Unity Catalog como camada central de governança
- Estruturar o compartilhamento de dados entre domínios com Delta Sharing
- Desenvolver padrões de ingestão em batch e streaming para domínios de negócio
- Consolidar a arquitetura medalhão (Bronze, Silver e Gold) para processamento de dados
- Criar e evoluir Data Contracts e Data Quality para a plataforma
- Automatizar esteiras de CI/CD para ambientes Databricks
- Aplicar Infrastructure as Code (IaC) para automação de infraestrutura
- Integrar a plataforma Databricks ao ecossistema Data Mesh na AWS
- Garantir interoperabilidade entre catálogos, serviços e camadas de governança
- Contribuir com observabilidade, monitoramento, performance e governança dos ambientes
- Produzir documentação técnica e apoiar o desenvolvimento do time
Requisitos
- Experiência sólida com Databricks, incluindo Workspaces, clusters, Jobs e workflows
- Conhecimento avançado em Unity Catalog (permissões, lineage, external locations e integração com Storage)
- Experiência avançada com Delta Lake e arquitetura medalhão (Bronze, Silver e Gold)
- Vivência com ingestão de dados em batch e streaming
- Experiência com CI/CD para Databricks usando Databricks Asset Bundles, repositórios e ferramentas como GitHub Actions ou Azure DevOps
- Experiência com serviços AWS (S3, Glue, Lake Formation, EMR, Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge)
- Proficiência em Python e PySpark para pipelines e automações
- Domínio avançado em SQL
- Experiência com Data Contracts e plataformas de metadados (ex.: OpenMetadata)
- Conhecimento em observabilidade com DataDog
- Atuação em arquitetura e governança de dados em ambiente corporativo
- Capacidade de conduzir discussões técnicas e participar de decisões de arquitetura
- Experiência com iniciativas de Data Mesh (domínios, Data Products e governança federada)
Beneficios
- Modelo de trabalho remoto
- Atuação em uma plataforma moderna e em evolução contínua
- Ambiente colaborativo com foco em qualidade, governança e automação
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: empregos.com.br.
Saiba como funciona.