Skills
Databricks Lakehouse
Unity Catalog
Delta Lake e arquitetura medalhão (bronze/silver/gold)
Delta Sharing
Data Contracts
Data Quality
CI/CD para Databricks
AWS (S3, Glue, EMR, Athena, IAM, Kinesis)
Terraform (IaC)
Python e PySpark
SQL avançado
DataDog
Sobre a Vaga
Estamos buscando um(a) Engenheiro(a) de Dados Sênior para atuar na construção e evolução de uma plataforma Enterprise Lakehouse em Databricks. O projeto segue princípios de Data Mesh, com foco em governança, qualidade, ingestão e interoperabilidade com a plataforma de dados existente na AWS.
Responsabilidades
- Colaborar na arquitetura e implementação da plataforma Lakehouse em Databricks por domínios de dados (Data Mesh)
- Administrar Unity Catalog para governança central e garantir compartilhamento de dados via Delta Sharing
- Construir padrões de ingestão de dados em streaming e batch
- Aplicar e evoluir a arquitetura medalhão (bronze/silver/gold) para uso dos domínios
- Desenvolver frameworks de Data Contracts e Data Quality para a plataforma
- Estruturar esteiras de CI/CD e automação de infraestrutura para o ecossistema Databricks
- Integrar a plataforma Databricks ao produto Data Mesh na AWS, garantindo interoperabilidade de catálogos e aderência aos contratos
- Contribuir com decisões técnicas, documentação e mentoria do time
Requisitos
- Experiência sólida com Databricks: administração de workspaces, clusters, jobs e workflows
- Conhecimento avançado em Unity Catalog: permissões, lineage, external locations e integração com storage
- Experiência em Delta Lake e operação em produção usando arquitetura medalhão (bronze/silver/gold)
- Domínio de ingestão de dados em escala (streaming e batch)
- Experiência com CI/CD para Databricks (Databricks Asset Bundles, Repos) e integração com GitHub Actions, Azure DevOps ou similares
- Conhecimento do ecossistema AWS: S3, Glue, Lake Formation, EMR (EC2 e Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge
- Experiência com IaC (Terraform), incluindo provider do Databricks
- Python e PySpark avançados para pipelines e automações
- SQL avançado
- Experiência com Data Contracts e ferramentas de metadados (ex.: OpenMetadata)
- Conhecimento de observabilidade com DataDog para monitoramento e controles
Beneficios
- Modelo de trabalho remoto
- Vaga também para PcD
- Atuação em projeto com foco em governança, qualidade e arquitetura moderna de dados
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: compass.gupy.io.
Saiba como funciona.