Skills
Databricks
Apache Spark
DBT
Apache Airflow
Delta Lake
Lakehouse
Python
SQL
ETL/ELT
Azure DevOps
CI/CD
Data Governance
Sobre a Vaga
O Grupo SysMap busca um(a) Engenheiro(a) de Dados Sênior para atuar em projetos de dados corporativos com foco em escalabilidade, performance e governança. A posição é remota e integra uma equipe que trabalha com tecnologias modernas de Data Engineering.
Responsabilidades
- Desenvolver, evoluir e sustentar pipelines de dados escaláveis no Databricks para ingestão, transformação e disponibilização
- Projetar e otimizar processos ETL/ELT, assegurando confiabilidade, alta performance e qualidade dos dados
- Construir e monitorar workflows e DAGs no Apache Airflow, garantindo automação e observabilidade das cargas
- Modelar e implementar camadas Bronze, Silver e Gold seguindo a arquitetura Lakehouse
- Integrar dados de múltiplas fontes, como APIs, bancos relacionais e não relacionais e sistemas corporativos
- Definir padrões técnicos e boas práticas de desenvolvimento, versionamento, testes e documentação
- Atuar em parceria com Analytics, BI, Data Science e áreas de negócio para traduzir requisitos em soluções
- Investigar e resolver incidentes, gargalos de performance e falhas em processos de dados
Requisitos
- Experiência sólida como Engenheiro(a) de Dados Sênior em ambientes de grande volume
- Domínio de Databricks, Apache Spark, Delta Lake, Python e SQL
- Experiência prática com DBT para transformação e modelagem de dados
- Conhecimento avançado em Apache Airflow para orquestração e monitoramento
- Vivência com arquitetura Lakehouse e modelagem nas camadas Bronze, Silver e Gold
- Integração de dados via APIs REST e bancos de dados relacionais e não relacionais
- Experiência com Git e CI/CD (como Azure DevOps) e versionamento de código
- Práticas de qualidade, governança, observabilidade e monitoramento de dados
- Performance tuning e otimização de consultas e pipelines
- Conhecimento em Azure (ADLS, ADF) e conceitos de DataOps, IaC e CI/CD
- Desejável: certificações Databricks e Azure Data Engineer Associate ou similares
- Conhecimento em ferramentas de Data Quality e Data Governance
Beneficios
- Atuação em modelo remoto
- Ambiente de tecnologia e inovação com oportunidades de crescimento
- Processo seletivo via Gupy, sem taxa de participação
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: gruposysmap.gupy.io.
Saiba como funciona.