Skills
Python
Spark
AWS Databricks
Airflow
SQL performance
Sobre a Vaga
O Grupo QuintoAndar busca um(a) Senior Data Engineer para atuar no desenvolvimento e evolução de uma plataforma de dados robusta, escalável, segura e com autosserviço. Você ajudará Data Analysts e Data Scientists a transformarem dados em insights e decisões estratégicas.
Responsabilidades
- Construir e manter uma plataforma de dados de alto desempenho, integrando-se às soluções de produto e impulsionando inovações analíticas
- Desenvolver e ajustar pipelines de dados, aplicando regras de negócio, definindo níveis de agregação, transformando campos e garantindo qualidade e limpeza dos dados
- Criar fluxos de modelagem e transformações para abstrações de dados claras e acessíveis
- Atuar no ciclo completo de desenvolvimento do código, incluindo monitoramento, deploy, documentação, performance, segurança, métricas e alertas, além de conformidade de SLO
- Investigar inconsistências e rastrear a origem de divergências (data troubleshooting)
- Habilitar o acesso e o uso eficiente de dados por times internos via ferramentas de autosserviço e datasets bem modelados
- Alinhar-se a stakeholders para entender necessidades, propondo soluções escaláveis e incrementais
- Conduzir POCs e benchmarks para definir ferramentas e decidir entre soluções prontas ou desenvolvimento interno
- Contribuir para a visão estratégica do time, atravessando fronteiras entre times e serviços
- Atuar como referência em conceitos técnicos, ferramentas e boas práticas de engenharia de dados
Requisitos
- 7+ anos de experiência em Data Engineering
- Especialização em Big Data (Spark, Hadoop, Hive, MapReduce) e em linguagens como YAML e Python
- Experiência com Airflow, Spark, AWS e Databricks
- Base sólida de engenharia de software aplicada a sistemas orientados a dados
- Conhecimento em armazenamento colunar e/ou conceitos de data lakehouse
- Domínio de otimização de performance em SQL
- Experiência com modelagem multidimensional (Star e/ou Snowflake schema)
- Entendimento do ciclo de vida dos dados: lineage, governança, privacidade, retenção e anonimização
- Experiência com infraestrutura e práticas como containers/orquestração (Kubernetes, ECS), CI/CD, infraestrutura como código (Terraform) e observabilidade (Prometheus, Grafana)
- Inglês para comunicação e trabalho com materiais, código e documentação frequentemente em inglês
- Boa comunicação e colaboração com diferentes stakeholders, traduzindo necessidades de negócio em soluções de dados
- Experiência como tech lead / project lead ou similar
Beneficios
- Salário competitivo
- Participação nos lucros (profit sharing)
- Auxílio alimentação (meal allowance)
- Plano de saúde e plano odontológico
- Seguro de vida
- Auxílio-creche e subsídio para parentalidade atípica
- Wellhub
- Auxílio home office
- Programa de assistência ao empregado (apoio mental, social, jurídico e financeiro)
- Licença estendida para parentalidade
- Folga no aniversário e em datas como Dia das Mães e Dia dos Pais
- Benefícios Club com descontos em serviços e descontos em instituições de ensino
- Kit de leitura para crianças (PlayKids)
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: job-boards.greenhouse.io.
Saiba como funciona.