Engenheiro(a) de dados sênior | migração sas para databricks

Engenheiro(a) de Dados Sênior na Jump (PJ) em São Paulo, híbrido — migração SAS para Databricks com Python, PySpark e SQL.

Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto estratégico de modernização da plataforma de dados de uma empresa do segmento de Educação, com foco na migração de processos e workloads atualmente desenvolvidos em SAS para Databricks. O profissional terá papel hands-on na análise do legado SAS, identificação das regras de negócio, desenho da solução na nova arquitetura e desenvolvimento dos processos utilizando principalmente Python, PySpark e SQL no Databricks.

Responsabilidades

• Analisar programas, rotinas e pipelines existentes em SAS.
• Realizar engenharia reversa para identificar regras de negócio, fontes, destinos e dependências.
• Converter processos SAS para Python, PySpark e SQL.
• Desenvolver pipelines e workloads no Databricks.
• Trabalhar com processamento distribuído utilizando Apache Spark.
• Implementar soluções utilizando Delta Lake e arquitetura Lakehouse.
• Otimizar performance de pipelines e consultas.
• Implementar mecanismos de logging, auditoria, tratamento de erros e qualidade de dados.
• Realizar testes e reconciliação dos resultados entre SAS e Databricks.
• Identificar oportunidades de modernização, evitando a simples conversão literal do legado.
• Documentar regras de negócio, pipelines, dependências e decisões técnicas.
• Apoiar homologações junto às áreas de negócio.
• Atuar presencialmente e de forma colaborativa com equipes técnicas e áreas de negócio.

Requisitos

• Experiência sólida com Databricks.
• Experiência avançada com Python e PySpark.
• SQL avançado.
• Experiência com Apache Spark e processamento distribuído.
• Experiência com Delta Lake.
• Conhecimento de Databricks Workflows/Jobs.
• Conhecimento de Unity Catalog.
• Experiência com Git e versionamento de código.

Beneficios

• Atuação híbrida em São Paulo