Você Irá: (Responsabilidades)
Desenvolver, manter e evoluir pipelines de dados batch e streaming utilizando Airflow (EKS), EMR/Spark e DBT. Implementar ingestões de dados via DMS, APIs, arquivos e eventos, garantindo organização correta nas camadas do Data Lake. Investigar e corrigir incidentes de dados (falhas de DAG, erros de processamento, inconsistência de métricas, problemas de schema). Atuar na análise de causa raiz (RCA) e propor melhorias para evitar recorrência de falhas. Garantir qualidade dos dados através de testes automatizados (DBT tests), validações e reconciliações. Desenvolver e otimizar transformações em Spark e DBT visando performance e custo. Otimizar queries no Athena e modelos DBT, reduzindo custo de processamento e melhorando tempo de resposta. Trabalhar com cargas incrementais (append, overwrite, merge/upsert), garantindo consistência e idempotência. Apoiar a evolução da arquitetura atual, contribuindo com melhorias técnicas e padronizações. Realizar code reviews e seguir boas práticas de versionamento e documentação. Trabalhar próximo às áreas de negócio para garantir que os dados entregues atendam aos requisitos funcionais. Monitorar execuções e propor melhorias contínuas nos pipelines.
Requisitos e qualificações
Esses são os itens que não podem faltar: Experiência sólida como Engenheiro de Dados em ambiente cloud. Vivência prática com construção e manutenção de pipelines de dados em produção. Experiência com troubleshooting e resolução de incidentes. Experiência com modelagem analítica (fatos e dimensões). Experiência com cargas incrementais e particionamento. Stack Técnica EssencialAWS (S3, Athena, IAM, Glue Catalog; desejável EMR). Airflow (criação e manutenção de DAGs). Spark (PySpark – joins, particionamento, tuning básico de performance). DBT (modelagem, incremental models, testes). SQL avançado. Python. Git. Diferenciais: Experiência com arquitetura orientada a eventos. Conhecimento em tabelas versionadas (Iceberg/Hudi). Experiência com otimização de custos em Athena/EMR. Noções de observabilidade e monitoramento de dados. Participação em decisões técnicas ou padronização interna.
Informações adicionais
- BenefíciosO que nós oferecemos:🥘Alimentação/Refeição: R$ 1.100,00/mês creditado no cartão Flash
- 💻 Auxílio home office: R$ 149,00/Mês creditado no cartão Flash
- 💰Benefício Flexíveis: R$ 200,00/Mês creditado no cartão Flash
- 🚐Busonauta Viajante: Nosso benefício exclusivo para pessoas Busonautas, são R$ 2.000,00/Ano para utilizar nas compras de passagens rodoviárias no APP ou SITE
- 🚋Vale transporte.🅿️Estacionamento.🏥Assistência Médica SulAmérica: sem coparticipação e sem mensalidade
- 🦷Assistência Odontológica Bradesco
- 👶Auxílio Creche para mamães e papais
- 🤰Licença Maternidade de 06 meses e licença paternidade de 30 dias
- 🔒Seguro de Vida
- 🏋️♀️ Wellhub e total
- Pass💸PLR anual🏖️Day OFF de aniversário
- 🐶Convênio Petlove
- 🩹Auxílio Farmácia
- 🧑🦽➡️Auxílio filho PCD.📚 Parceiras com instituições de ensino e lazer
