Skills
BigQuery
DBT
Dataproc (Spark)
Sobre a Vaga
A Leega busca um Engenheiro de Dados Sênior para atuar em projetos de dados no ecossistema Google Cloud, apoiando o desenho, construção e evolução de pipelines ELT/ETL, modelos no BigQuery e governança de dados. A posição é 100% remota e tem duração estimada de 10 meses.
Responsabilidades
- Planejar e analisar cargas e pipelines, avaliando requisitos do Data Warehouse e mapeando dados, transformações e processos em serviços como Cloud Storage, BigQuery e Dataproc
- Definir estratégias de migração (full load, incremental e CDC) e elaborar arquitetura de dados no GCP
- Projetar e modelar dados no BigQuery, considerando performance, custo e escalabilidade, incluindo particionamento e clustering
- Modelar zonas de dados no Cloud Storage (Bronze, Silver e Gold)
- Desenvolver pipelines de transformação com Dataproc (Spark) e/ou Dataflow, carregando dados para o BigQuery
- Implementar validações e mecanismos de qualidade de dados
- Provisionar e gerenciar infraestrutura com IaC (Terraform), incluindo datasets/tables, buckets e clusters
- Otimizar consultas no BigQuery e jobs Spark no Dataproc para controlar custos e melhorar desempenho
- Aplicar segurança e governança: IAM, proteção de dados em trânsito e em repouso e conformidade com políticas internas
- Monitorar e dar suporte ao funcionamento dos pipelines e recursos, além de documentar arquitetura, modelos e procedimentos
- Atuar com comunicação clara com stakeholders e time, alinhando evolução técnica e qualidade das entregas
- Seguir metodologias ágeis, com atuação em ritos e uso de Jira
Requisitos
- Experiência comprovada em Google Cloud Platform (GCP), com atuação em BigQuery, Cloud Storage e Dataproc
- Profundo conhecimento em modelagem de dados, otimização de consultas, particionamento, clustering e segurança/governança no BigQuery
- Experiência com Cloud Storage: buckets, políticas de ciclo de vida e IAM
- Conhecimento em Dataflow/Composer/DBT para orquestração e processamento de pipelines ELT/ETL
- Experiência comprovada em DBT e mínimo de 3 anos em PySpark
- Domínio de GitFlow e controle de versão com Git (GitHub/Bitbucket)
- Conhecimento de Cloud IAM e fundamentos de VPC/Networking e melhores práticas de segurança
- Experiência com Python e SQL avançado, além de Shell Scripting para automação
- Conhecimento comprovado no mínimo 4 anos em GCP e 4 anos em DBT
- Perfil sênior com capacidade de análise, planejamento e entrega consistente em projetos de dados
Beneficios
- Convênio médico Porto Seguro (com possibilidade de incluir cônjuge e filhos)
- Convênio odontológico Porto Seguro
- Participação nos Lucros e Resultados (PLR)
- Auxílio creche
- Vale alimentação e refeição (Alelo)
- Auxílio home office
- Parcerias com instituições de ensino
- Incentivo para certificações, incluindo Cloud
- Pontos Livelo
- TotalPass
- Mindself (meditação e mindfulness)