Skills
AWS Glue
Lakehouse (Apache Iceberg)
ETL com Python/PySpark
Sobre a Vaga
Buscamos um(a) Engenheiro(a) de Dados para atuar com tecnologias AWS e pipelines de dados em projetos de modernização da plataforma, com foco em arquitetura Lakehouse, governança e preparação de dados para consumo analítico e de IA.
Responsabilidades
- Organizar, coletar e processar grandes volumes de dados com ferramentas de ETL
- Manter pipelines de dados garantindo segurança no acesso às informações
- Criar e disponibilizar métricas, painéis e relatórios com foco em qualidade e integridade
- Atuar na modernização da plataforma de dados (Lakehouse, governança, qualidade e preparação)
- Estruturar modelagem dimensional para consumo por times de negócio
- Conduzir o ciclo de vida completo do dado: ingestão, processamento, armazenamento, transformação, consumo e governança
Requisitos
- Experiência com coleta, transformação e carga de dados (ETL)
- Python e/ou PySpark
- Experiência em AWS com Glue, EMR, Athena, SNS, Lambda, Step Functions, S3, Lake Formation, IAM e CloudWatch
- Conhecimento em bancos NoSQL como MongoDB, DynamoDB e Hadoop
- Atuação com Lakehouse usando Apache Iceberg (versionamento, evolução de schema, particionamento e otimização)
- Experiência com engines de consulta para grandes volumes (Athena, Trino, Presto ou Spark SQL) e leitura em formatos como Parquet e ORC
- Modelagem dimensional (fato e dimensão, granularidade, chaves, hierarquias, métricas e indicadores)
- Testes unitários e testes de performance
- Boas práticas de segurança, controle de acesso e monitoramento em nuvem
Beneficios
- Atuação em projetos de modernização e inovação em dados
- Ambiente colaborativo e com autonomia para gerenciar entregas
- Oportunidade de evoluir em arquitetura Lakehouse, governança e qualidade de dados
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: empregos.com.br.
Saiba como funciona.