O que esta vaga pede
Azure Synapse Analytics
Azure Data Factory (ADF)
Azure Data Lake Storage Gen2 (ADLS Gen2)
ETL/ELT
SQL
Python
PySpark
DataOps
Ver se você combina
Sobre a Vaga
Engenheiro de Dados Sênior no Grupo SysMap em São Paulo: atue com pipelines ETL/ELT industrializados usando Azure Synapse Analytics e Azure Data Factory.
Responsabilidades
- Desenhar, desenvolver e manter pipelines ETL/ELT industrializados com Azure Synapse Analytics, Azure Data Factory e Azure Data Lake Storage Gen2 (ADLS Gen2)
- Realizar integrações com APIs, bancos de dados e arquivos
- Desenvolver e otimizar soluções com SQL e Python/PySpark, incluindo modelagem de dados, cargas incrementais, particionamento e otimização de performance
- Implementar controles de qualidade e construir camadas analíticas governadas (Bronze, Silver e Gold)
- Aplicar arquiteturas com modelos estrela, SCDs e views SQL reutilizáveis
- Usar boas práticas de engenharia de software e DataOps com Git, Azure DevOps, branches, pull requests, testes automatizados e CI/CD
- Garantir confiabilidade e estabilidade em produção com monitoramento, alertas, troubleshooting, documentação técnica, segurança e otimização de custos
- Atuar próximo a Data Analysts e áreas de negócio, traduzindo necessidades funcionais em soluções técnicas escaláveis
- Contribuir para evolução contínua de arquitetura, governança e boas práticas do ambiente analítico
Requisitos
- Experiência sólida como Engenheiro(a) de Dados, preferencialmente em ambientes corporativos de grande porte
- Conhecimento avançado em SQL
- Conhecimento avançado em Python e/ou PySpark
- Experiência com Azure Synapse Analytics
- Experiência com Azure Data Factory (ADF)
- Experiência com ADLS Gen2
- Experiência com modelagem de dados e arquitetura de Data Lake/Data Warehouse e modelos dimensionais
- Experiência com ETL/ELT, cargas incrementais, particionamento e otimização de performance
- Conhecimento de arquiteturas em camadas Bronze, Silver e Gold
- Experiência com Git e Azure DevOps (branches, pull requests e CI/CD)
- Vivência com monitoramento, troubleshooting, qualidade de dados, segurança e sustentação de ambientes produtivos
- Autonomia, visão analítica e proximidade com áreas de negócio
Título e texto são os da empresa. A candidatura é no site da empresa (gruposysmap.gupy.io) — daqui você sai preparado.
Saiba como funciona.
