Skills
Python
AWS Redshift
Apache Spark
Sobre a Vaga
Atue na evolução da plataforma de dados da SRM Asset, uma gestora independente que conecta tecnologia e inovação para apoiar decisões de investimento e crédito. Você participará da construção de uma base de dados moderna, com foco em qualidade, disponibilidade e performance para operações críticas e análises.
Responsabilidades
- Desenvolver, orquestrar e acompanhar pipelines de dados escaláveis usando Python e Apache Airflow
- Processar grandes volumes em cenários batch e streaming com Apache Spark
- Modelar e otimizar Data Warehouses na AWS, com foco em Amazon Redshift
- Garantir sustentação e modernização de cargas legadas, integrando MSSQL Server ao Data Lake
- Escrever e otimizar consultas SQL complexas para transformação e análise
- Trabalhar em conjunto com Cientistas de Dados e Analistas para ampliar o acesso à informação
- Contribuir com governança e catalogação usando OpenMetadata, incluindo linhagem e descoberta de dados
- Evoluir a arquitetura de dados seguindo o padrão medallion (bronze, silver e gold)
Requisitos
- Experiência sólida com Python e desenvolvimento de rotinas ETL/ELT
- SQL avançado, com capacidade de tuning e construção de queries performáticas
- Vivência com Apache Spark e orquestração via Apache Airflow
- Experiência com serviços de dados da AWS, incluindo profundidade em Redshift (S3, Glue e Lambda são diferenciais)
- Conhecimento de boas práticas de engenharia (Git, CI/CD e code review)
- Experiência com modelagem dimensional (Star Schema e Snowflake Schema) e arquitetura em camadas (medallion)
Beneficios
- Ambiente de alta relevância para decisões de investimento e crédito
- Atuação em uma plataforma em transformação para práticas mais assistidas por IA
- Oportunidade de evoluir arquitetura de dados e governança de ponta a ponta
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: gruposrm.inhire.app.
Saiba como funciona.