Que tal fazer parte do nosso time como Engenheiro(a) de Dados Pleno?
Sua missão será construir e sustentar os pipelines de dados do Data Hub, da ingestão à normalização, ao de/para e à validação automatizada, garantindo a confiabilidade da base antes que qualquer visualização chegue às áreas de negócio.
Essa é uma oportunidade no modelo remoto.
RESPONSABILIDADES E ATRIBUIÇÕES
Como Engenheiro(a) de Dados Pleno, você focará em:
- Construir e sustentar pipelines de ingestão e normalização de dados no Databricks.
- Desenvolver as rotinas de de/para e de validação automatizada dos dados.
- Garantir a confiabilidade da base de dados antes que ela seja consumida em painéis e visualizações pelas áreas de negócio.
- Criar testes automatizados de qualidade de dados e estruturar a observabilidade dos pipelines.
- Lidar com dados inconsistentes e fontes instáveis, mantendo os pipelines funcionando de forma confiável.
- Refatorar pipelines e códigos legados sempre que necessário.
- Medir e comunicar os ganhos de eficiência de cada iniciativa.
- Manter versionamento, CI/CD e documentação técnica atualizados, além de estimar prazos das entregas.
REQUISITOS E QUALIFICAÇÕES
Como requisitos básicos, buscamos:
- Experiência com Databricks, incluindo notebooks, Jobs e Delta.
- Domínio de Python e PySpark.
- SQL avançado.
- Experiência na construção e sustentação de pipelines de ingestão e normalização de dados.
- Experiência com testes automatizados de qualidade de dados e observabilidade.
- Experiência com versionamento, CI/CD e documentação técnica.
- Autonomia técnica para conduzir entregas sem acompanhamento constante.
- Disciplina com documentação e com estimativa de prazos.
Se inscreva e embarque nessa jornada com a gente! 🚀