O que esta vaga pede
Databricks
AWS
SQL
Python
PySpark/Spark
Delta Lake
Unity Catalog
dbt
Ver se você combina
Sobre a Vaga
Engenheiro de Dados Sênior na UOL EdTech em São Paulo (SP) para atuar com plataformas e pipelines de dados em ambiente corporativo.
Responsabilidades
- Definir, evoluir e sustentar a arquitetura de dados (Data Lake / Data Warehouse / Lakehouse) e o desenho em camadas (Medallion).
- Projetar e implementar pipelines de dados (ETL/ELT) em batch, streaming e incremental, integrando múltiplas fontes (APIs, bancos, eventos e arquivos).
- Atuar de forma protagonista na entrega da camada analítica, conectando integração/refino (Silver) a produtos de dados reutilizáveis para negócio, analytics e ciência de dados.
- Desenvolver e evoluir transformações com dbt, priorizando código modular, versionado, testável e documentado (incluindo macros e modelos incrementais quando aplicável).
- Implementar Data Contracts, testes automatizados e práticas para reduzir rupturas no consumo downstream (dashboards, datasets e aplicações) por mudanças inesperadas na origem.
- Atuar como referência técnica no time, promovendo DataOps, Git/PRs, CI/CD, documentação e padrões de engenharia; apoiar integrações com IA/ML por meio de bases limpas, estáveis e bem definidas.
Requisitos
- Experiência sólida como Engenheiro(a) de Dados Sênior em plataformas e pipelines de dados em ambiente corporativo.
- Experiência prática com Databricks em AWS, incluindo desenvolvimento, operação e monitoramento de notebooks, jobs, workflows e pipelines.
- Domínio de SQL, Python e PySpark/Spark, com capacidade de escrever consultas performáticas e transformações complexas.
- Experiência com arquitetura Lakehouse, Delta Lake e Medallion (Bronze/Silver/Gold), incluindo processamento incremental, evolução de schema e otimização de performance.
- Conhecimento dos principais serviços AWS para plataformas de dados, especialmente Amazon S3, IAM e AWS Glue.
- Experiência com ingestão e orquestração de dados em batch, incremental e streaming, incluindo CDC e uso de Databricks Workflows/Lakeflow Jobs ou ferramentas equivalentes.
- Experiência com governança e segurança em Databricks, especialmente Unity Catalog, controle de acesso, lineage e organização de catálogos e schemas.
- Experiência com arquitetura de dados e modelagem dimensional (Kimball/Star Schema), integração com bancos relacionais (SQL Server, Oracle) e não relacionais (MongoDB).
- Experiência com qualidade e confiabilidade de dados (Data Contracts, testes automatizados, monitoramento e observabilidade de pipelines).
- Domínio de Git e processos de Pull Request / code review, além de CI/CD aplicado a projetos e pipelines de dados.
- Desenvolver e evoluir transformações com dbt e práticas de engenharia (código modular, versionado, testável e documentado).
Título e texto são os da empresa. A candidatura é no site da empresa (netvagas.com.br) — daqui você sai preparado.
Saiba como funciona.
