Engenheiro de Dados Sênior | Azure Databricks | Remoto (CLT)

Sobre a Vaga

Estamos procurando um(a) Engenheiro(a) de Dados Sênior para atuar em um time de alta performance, em parceria com uma empresa de Tecnologia da Informação e Serviços com atuação relevante no dia a dia de milhões de pessoas. O desafio envolve modernizar e evoluir plataformas de dados, garantindo soluções robustas, escaláveis e seguras.

Responsabilidades

• Modernizar e migrar plataformas legadas de dados para arquiteturas modernas em Azure Databricks e Data Lakehouse
• Realizar assessment de ambientes existentes, identificando oportunidades de melhoria
• Fazer engenharia reversa de pipelines ETL e workflows desenvolvidos em Oracle e Informatica PowerCenter
• Projetar e implementar pipelines escaláveis com PySpark, Spark SQL e Delta Lake
• Transformar fluxos ETL tradicionais em abordagens ELT, elevando desempenho, escalabilidade e governança
• Desenvolver e manter pipelines batch e near real-time em ambientes distribuídos
• Aplicar Medallion Architecture (Bronze, Silver e Gold) e manter padrões de organização do dado
• Integrar soluções com serviços do ecossistema Azure (ADLS Gen2, Azure Data Factory, Databricks e Azure Key Vault)
• Adotar boas práticas como versionamento, testes, observabilidade, monitoramento e tratamento de falhas
• Implementar resiliência com retry, idempotência e dead-letter
• Otimizar performance de workloads Spark e consultas SQL, buscando eficiência e redução de custos
• Contribuir com governança: controle de acesso, data lineage e gerenciamento de metadados
• Atuar junto a áreas de negócio e equipes técnicas para traduzir requisitos em soluções de dados confiáveis
• Apoiar a definição de arquiteturas modernas, incluindo Data Mesh e Data Vault

Requisitos

• Experiência sólida como Engenheiro(a) de Dados Sênior
• Vivência em projetos de migração e modernização de plataformas legadas
• Conhecimento avançado em Oracle e Informatica PowerCenter
• Experiência com Azure Databricks, PySpark e Spark SQL
• Domínio de Delta Lake e conceitos de Lakehouse
• Experiência com Azure Data Lake Storage Gen2 (ADLS Gen2), Azure Data Factory (ADF) e Azure Key Vault
• Atuação na construção de pipelines batch, ELT e near real-time
• Conhecimento em modelagem de dados (Data Vault, Star Schema e Medallion Architecture)
• Experiência em orquestração com Azure Data Factory e Databricks Workflows
• Domínio em governança de dados, Unity Catalog, controle de acesso e data lineage
• Experiência em otimização de performance de Spark e consultas SQL
• Conhecimento de CI/CD, uso de Git, testes automatizados e monitoramento
• Implementação de mecanismos de resiliência como retry, idempotência e dead-letter
• Capacidade de atuar em ambientes críticos com foco em alta disponibilidade, escalabilidade e governança
• Boa comunicação para alinhamento com áreas de negócio e times multidisciplinares

Beneficios

• Atuação em modelo remoto
• Ambiente de alta performance com autonomia e responsabilidade
• Participação em iniciativas de desenvolvimento e comunidade tech