Skills
Engenharia de Dados
Azure Data Factory
Databricks
Sobre a Vaga
Na Lumini IT, buscamos um(a) Engenheiro(a) de Dados Sênior para atuar na construção e integração de pipelines no ecossistema Azure e AWS. O objetivo é garantir ingestão, automações com IA, processamento e disponibilidade dos dados para apoiar decisões e evoluções do negócio.
Responsabilidades
- Projetar e desenvolver pipelines de ingestão a partir de fontes externas (APIs, ETLs, bancos relacionais e não relacionais, arquivos e telemetria)
- Integrar e consolidar dados de múltiplas fontes, assegurando qualidade e consistência
- Implementar arquiteturas de referência para processamento e armazenamento de dados
- Criar e gerenciar data lakes, data warehouses e data marts no ambiente Azure
- Desenvolver e otimizar rotinas de ETL/ELT com Azure Data Factory, Databricks, Synapse Analytics e Azure Functions
- Garantir governança, segurança, escalabilidade e monitoramento dos pipelines
- Monitorar performance das cargas de dados, identificar gargalos e propor melhorias
- Atuar em parceria com cientistas de dados e analistas funcionais para atender necessidades do negócio
Requisitos
- Experiência sólida como Engenheiro(a) de Dados, com foco em pipelines escaláveis
- Conhecimento avançado em serviços de dados no Azure (Data Factory, Synapse, Databricks, Azure SQL, Blob Storage e monitoramento)
- Experiência com integração de dados via APIs REST/SOAP e consumo de dados em tempo real
- Conhecimento em bancos relacionais (ex.: SQL Server, PostgreSQL) e não relacionais (ex.: CosmosDB, MongoDB)
- Habilidade com Python, Spark, SQL e PowerShell para manipulação e processamento de dados
- Vivência com DataOps, versionamento (Git) e CI/CD para pipelines de dados
- Conhecimento em modelagem de dados, otimização de consultas e tuning
- Noções de segurança e compliance, incluindo práticas alinhadas à LGPD
- Capacidade de documentar e comunicar de forma clara com equipes técnicas e de negócio
Beneficios
- Modelo de trabalho em Home Office
- Possíveis viagens ao cliente (ex.: Campinas/SP e região), com custos custeados pela empresa
- Contratação como Pessoa Jurídica (PJ)