O que esta vaga pede
Na Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global. Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui! Junte-se a nós e seja parte da mudança!
#LI-MG#LI-REMOTE
Responsabilidades e atribuições
O que esperamos que você realize: Estamos buscando um Engenheiro de Dados Pleno para atuar na migração de tabelas e pipelines do ambiente Cloudera Hadoop para AWS, atuando de ponta a ponta — do levantamento inicial à estabilização em produção.
Responsabilidades
Mapear o ambiente atual: levantar jobs, pipelines e queries em HQL no Cloudera, além de rotinas de orquestração em Shell Script. Converter as queries HQL para Amazon Athena, AWS Glue ou Amazon EMR, escolhendo o serviço mais adequado por caso de uso (custo, performance, padrão de acesso). Redesenhar as rotinas de orquestração em Shell Script para serviços gerenciados AWS como Step Functions, Lambda, Event
Bridge e MWAA/Airflow. Modelar o data lake de destino em Amazon S3 (zonas raw/trusted/refined) e, quando aplicável, em Amazon Redshift.
Requisitos e qualificações
- O que precisamos que você tenha de conhecimento:
- Experiência com Cloudera Hadoop, HQL, Shell Script, Amazon Athena, AWS Glue, Amazon EMR, AWS Step Functions, AWS Lambda, Amazon Event
- Bridge, Amazon MWAA/Airflow, Amazon S3, Amazon Redshift. Diferenciais: Experiência com migração de dados e pipelines entre diferentes ambientes. Conhecimento em outras tecnologias de Big Data e Cloud.
Informações adicionais
- 🍛 Vale-alimentação ou vale-refeição
- 👨🏼🎓 Desconto em cursos, universidades e instituições de idiomas
- 📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado
- 🗣 Mentoring
- 💉 Clube de vantagens para consultas e exames
- 🏥 Assistência médica
- 🦷 Assistência odontológica
- 💰 Clube de vantagens e descontos nos melhores estabelecimentos
- 🛫 Clube de viagens
- 🐶 Convênio para pets.
