Skills
dbt
BigQuery
GCP Data Pipelines (Dataproc/Dataflow)
Sobre a Vaga
A Leega busca um(a) Engenheiro(a) de Dados Pleno para atuar em projetos 100% remotos, apoiando a construção e evolução de arquiteturas de dados no ecossistema Google Cloud. O foco será do planejamento à implementação de pipelines ELT/ETL, garantindo qualidade, segurança e eficiência de custos.
Responsabilidades
- Mapear dados, transformações e fluxos nos serviços GCP (Cloud Storage, BigQuery e Dataproc)
- Definir estratégia de migração (full load, incremental e CDC) e planejar a arquitetura no GCP
- Projetar e modelar dados no BigQuery, considerando performance, custo e escalabilidade
- Definir particionamento e clustering no BigQuery e modelar camadas no Cloud Storage (Bronze, Silver e Gold)
- Criar e evoluir pipelines de transformação com Dataproc (Spark) e/ou Dataflow para carga no BigQuery
- Implementar validações e práticas de qualidade de dados
- Otimizar consultas e jobs para reduzir custo e melhorar desempenho
- Garantir segurança e governança: criptografia, políticas IAM e conformidade
- Monitorar pipelines, tratar incidentes e apoiar resolução de problemas
- Documentar arquitetura, modelos, pipelines e procedimentos operacionais
- Atuar com comunicação clara com time e stakeholders, alinhando arquitetura e entregas
- Seguir rotinas e metodologias ágeis, com uso de Jira
Requisitos
- Experiência comprovada com dbt (mínimo de 3 anos)
- Conhecimento em models (staging, intermediate, marts), ref() e source()
- Domínio de macros em Jinja, além de seeds e snapshots
- Experiência com testes (not null, unique e custom)
- Conhecimento sólido em BigQuery: modelagem, otimização de consultas, particionamento, clustering, cargas (streaming e batch), segurança e governança
- Experiência com Cloud Storage: buckets, classes de armazenamento, políticas de ciclo de vida e IAM
- Atuação com Dataproc: provisionamento/configuração de clusters Spark/Hadoop e otimização de jobs
- Conhecimento em orquestração/processamento para pipelines ELT/ETL (Dataflow/Composer/DBT)
- Implementação de políticas de Cloud IAM e entendimento de VPC, networking e boas práticas de segurança
- Python e PySpark para automação e integração com APIs GCP
- SQL avançado para BigQuery e transformações
- Shell scripting para automação de tarefas
- Experiência com controle de versão (Git/GitHub/Bitbucket)
- Conhecimento/participação em rotinas ágeis e Jira
Beneficios
- Convênio médico Porto Seguro (com possibilidade de incluir cônjuge e filhos)
- Convênio odontológico Porto Seguro
- Participação nos Lucros e Resultados (PLR)
- Auxílio creche
- Vale alimentação e refeição Alelo
- Auxílio home office
- Parcerias com instituições de ensino
- Incentivo para certificações em Cloud
- Pontos Livelo
- TotalPass
- Apoio com Mindself (meditação e mindfulness)