.
Responsabilidades e atribuições
- Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados
- Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes
- Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código
- Utilizar Python Element
- Tree para manipulação eficiente de dados XML e integração de dados heterogêneos
- Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados
- Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento
- Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados
- Manter documentação técnica abrangente para os processos e soluções implementadas.
Requisitos e qualificações
- Experiência no desenvolvimento de soluções de dados utilizando Python
- Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark)
- Vivência com processamento, transformação e análise de grandes volumes de dados
- Experiência com manipulação e tratamento de dados utilizando Pandas
- Conhecimento em leitura, processamento e integração de dados XML utilizando Python Element
- Tree
- Experiência com plataformas de nuvem, especialmente Microsoft Azure
- Conhecimento em práticas de qualidade, integridade e monitoramento de dados
- Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados. Desejáveis: Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados
- Conhecimento em otimização de performance de pipelines e processamento distribuído
- Familiaridade com documentação técnica de processos, pipelines e soluções de dados.
Informações adicionais
Benefícios
- Vale-alimentação e/ou vale-refeição
- Plano de saúde e plano odontológico
- Plano de saúde para o seu pet
- Auxílio home office (para vagas remotas)
- Kit de boas-vindas no onboarding
- Seguro de vida
- Zenklub, com acompanhamento psicológico e nutricional
- Total
- Pass
- Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce)
- Parcerias e descontos para o seu desenvolvimento
- Acesso ao conteúdo UOL
- Kit maternidade
- Licença maternidade e paternidade estendidas
- Programa de indicações.
Título e texto são os da empresa. A candidatura é no site da empresa (compass.gupy.io) — daqui você sai preparado.
Saiba como funciona.
