Skills
Databricks
PySpark
SQL
Unity Catalog
LGPD
ELT/ETL
Kafka
Structured Streaming
Delta Lake
dbt
Sobre a Vaga
Na Stefanini, buscamos um(a) Engenheiro(a) de Dados para atuar em um projeto estratégico de Governança de Dados, com foco na construção de pipelines, qualidade, catalogação e governança em uma arquitetura moderna baseada em Databricks.
Esta é uma oportunidade 100% remota, com contratação via CLT ou PJ. O profissional também atuará em ambiente internacional, com reuniões recorrentes em inglês.
Responsabilidades
- Construir e manter pipelines de ingestão, transformação e curadoria de dados
- Desenvolver pipelines ELT/ETL com PySpark e SQL nas camadas Medallion
- Implementar regras de qualidade, monitoramento e padrões de remediação
- Realizar profiling de dados e inventário de fontes para apoiar a governança
- Catalogar datasets e aplicar políticas de tratamento compatíveis com a LGPD usando Unity Catalog
- Integrar APIs, diferentes fontes de dados e processos de orquestração
Requisitos
- Experiência sólida como Engenheiro(a) de Dados
- Databricks e Delta Lake
- PySpark e SQL
- Construção de pipelines ELT/ETL
- Arquitetura Medallion
- Ingestão batch e streaming (Auto Loader, Kafka e Structured Streaming)
- Modelagem dimensional e Data Vault
- dbt e/ou Delta Live Tables (DLT)
- Frameworks de qualidade de dados (Great Expectations, DLT Expectations)
- Observabilidade e monitoramento de pipelines
- Orquestração com Databricks Workflows e/ou Apache Airflow
- Integração com APIs e diferentes fontes de dados
- Inglês fluente para conversação
Beneficios
- Vale-alimentação ou vale-refeição
- Desconto em cursos, universidades e instituições de idiomas
- Academia Stefanini com cursos on-line e certificados
- Mentoring
- Assistência médica e odontológica
- Clube de vantagens e descontos (inclui exames, viagens e convênio para pets)