- O que esperamos que você tenha:
- Domínio de dbt (Core ou Cloud): Experiência comprovada indo além do básico. Você deve entender bem de estratégias de materialização (incremental, view, ephemeral), snapshots, seeds e testes.
- Google Cloud Platform (BigQuery): Proficiência em SQL para BigQuery (Partitioning, Clustering, Nested Fields).
- Python Sólido: Capacidade de escrever scripts limpos e modulares, essencial para trabalhar com o Prefect.
- Orquestração: Experiência com Airflow (para entender o legado) e desejo/experiência em trabalhar com Prefect.
- Git e Versionamento: Fluxo de trabalho colaborativo (Pull Requests, Code Review) é mandatório.
- Você vai se destacar se tiver:
- Experiência implementando dbt Slim CI (Integração Contínua otimizada).
- Conhecimento avançado em Jinja Templating.
- Experiência migrando workflows de Airflow para Prefect.
- Conhecimento de ferramentas de "Data Observability".
- Conhecimento em BigData e soluções de paralelismo.
- Conhecimento com processamento Real-time.
- Conhecimento em soluções de Infraestrutura de Cloud (Kubernetes, CloudRun, Cloud
- Functions).
- Experiência em data stack na GCP.
- O seu papel será:
- Engenharia de Analytics (dbt): Refatorar e evoluir o projeto dbt, implementando boas práticas como macros reutilizáveis (Jinja), materializações incrementais eficientes e documentação de linhagem.
- Qualidade de Dados (Data Quality): Implementar testes automáticos (dbt tests / packages) para garantir a confiabilidade dos dados na ponta, impedindo que dados ruins cheguem aos dashboards.
- Orquestração Moderna: Realizar a migração técnica dos pipelines de Airflow para Prefect, integrando a execução dos modelos dbt dentro de fluxos resilientes.
- Otimização de BigQuery: Atuar no tunning de queries e modelos de dados para reduzir custos de processamento (FinOps) e melhorar a performance de entrega.
- Sustentação e CI/CD: Manter as esteiras de deploy automatizado para dados, garantindo que alterações no dbt ou no Prefect passem por validações antes da produção.
Título e texto são os da empresa. A candidatura é no site da empresa (netvagas.com.br) — daqui você sai preparado.
Saiba como funciona.
