Skills
GCP
BigQuery
DBT
Dataproc
PySpark
Terraform
ELT/ETL
Cloud IAM
SQL
Dataflow
Sobre a Vaga
Na Leega, buscamos um(a) Engenheiro(a) de Dados Sênior para atuar em projetos de dados no ecossistema Google Cloud, apoiando a evolução de pipelines, modelagem e governança. Se você gosta de desafios, trabalha com foco em resultados e busca um ambiente colaborativo, esta pode ser a sua oportunidade.
Responsabilidades
- Analisar requisitos do Data Warehouse (DW) e planejar a arquitetura de dados no GCP
- Definir estratégia de migração (full load, incremental e CDC) e elaborar planos de migração
- Projetar e modelar esquemas no BigQuery considerando performance, custo e escalabilidade
- Definir particionamento e clustering no BigQuery e modelar camadas no Cloud Storage (Bronze, Silver e Gold)
- Criar e evoluir pipelines ELT/ETL com Dataproc (Spark) e/ou Dataflow, carregando dados para o BigQuery
- Implementar validações e práticas de qualidade de dados
- Provisionar e gerenciar infraestrutura usando IaC com Terraform (datasets/tables BigQuery, buckets Cloud Storage, clusters Dataproc)
- Otimizar consultas no BigQuery e jobs Spark no Dataproc para melhorar desempenho e controlar custos
- Aplicar segurança e governança de dados, garantindo proteção em trânsito e em repouso via IAM
- Monitorar pipelines, diagnosticar problemas e prestar suporte quando necessário
- Documentar arquitetura, modelos, pipelines e procedimentos operacionais
- Atuar com comunicação clara com stakeholders e equipe, alinhando evolução técnica e qualidade das entregas
- Seguir metodologias ágeis, com proficiência em Jira
Requisitos
- Experiência comprovada mínima de 3 anos em Google Cloud Platform (GCP)
- Experiência comprovada mínima de 3 anos com DBT
- Experiência comprovada mínima de 3 anos com PySpark
- Conhecimento avançado em SQL (BigQuery, DBT e transformações)
- Experiência com Cloud Storage (buckets, classes de armazenamento, políticas de ciclo de vida e IAM)
- Experiência com Dataproc (clusters Spark/Hadoop, provisionamento e otimização de jobs)
- Conhecimento em Dataflow/Composer (orquestração e processamento de dados)
- Domínio de Cloud IAM (políticas e acesso granular) e de redes (VPC, sub-redes, regras de firewall)
- Experiência com GitFlow e controle de versão (Git/GitHub/Bitbucket)
- Conhecimento em Python e Shell Scripting para automação e integração com APIs
Beneficios
- Convênio médico Porto Seguro (com possibilidade de incluir cônjuge e filhos)
- Convênio odontológico Porto Seguro
- Participação nos Lucros e Resultados (PLR)
- Auxílio creche
- Vale alimentação e refeição (Alelo)
- Auxílio home office
- Parcerias com instituições de ensino (descontos e incentivos)
- Incentivo para certificações, incluindo em Cloud
- Pontos Livelo
- Incentivo à saúde com TotalPass
- Apoio com Mindself (meditação e mindfulness)