Skills
Engenharia de Dados
Azure Data Factory
Synapse Analytics
Databricks
ETL/ELT
Python
Spark
SQL
DataOps
CI/CD
LGPD
Sobre a Vaga
Na Lumini IT, buscamos um(a) Engenheiro(a) de Dados Sênior para atuar na construção e integração de pipelines em Azure e AWS. O desafio envolve ingestão e processamento de dados, automações com IA e a garantia de disponibilidade e qualidade para apoiar decisões do negócio.
Responsabilidades
- Projetar e desenvolver pipelines de ingestão a partir de fontes externas, como ETLs, APIs, bancos relacionais e não relacionais, arquivos e telemetria
- Integrar e consolidar dados de diferentes origens no ecossistema Azure, assegurando consistência e qualidade
- Implementar arquiteturas de referência para processamento e armazenamento de dados
- Construir e gerenciar data lakes, data warehouses e data marts no ambiente Azure
- Desenvolver e otimizar fluxos de ETL/ELT usando Azure Data Factory, Databricks, Synapse Analytics e Azure Functions
- Garantir governança, segurança, escalabilidade e monitoramento dos pipelines
- Monitorar performance das cargas de dados, identificar gargalos e propor melhorias
- Atuar em conjunto com cientistas de dados e analistas funcionais para atender necessidades do negócio
Requisitos
- Experiência sólida como Engenheiro(a) de Dados, com foco em pipelines escaláveis
- Conhecimento avançado em serviços de dados no Azure: Azure Data Factory, Synapse, Databricks, Azure SQL, Blob Storage e monitoramento
- Experiência com integração via APIs REST/SOAP e consumo de dados em tempo real
- Domínio de bancos relacionais (ex.: SQL Server, PostgreSQL) e não relacionais (ex.: CosmosDB, MongoDB)
- Habilidades com Python, Spark, SQL e PowerShell para manipulação e processamento de dados
- Experiência em DataOps, versionamento com Git e CI/CD para pipelines
- Conhecimentos de modelagem de dados, otimização de consultas e tuning
- Noções de segurança e compliance de dados, incluindo LGPD
- Capacidade de documentar e comunicar com clareza com equipes técnicas e de negócio
Beneficios
- Modelo de trabalho em home office
- Contratação PJ
- Possíveis viagens ao cliente (Campinas/SP e outros), custeadas pela empresa
- Atuação em programa de modernização e inovação com foco em Dados, IA e automação