Sobre a vaga
Estamos em busca de uma pessoa Senior Data Engineer para nos ajudar a construir e evoluir nossa plataforma de dados, garantindo escalabilidade, confiabilidade e disponibilidade para suportar produtos, análises e iniciativas estratégicas do negócio. Procuramos alguém com forte capacidade técnica, visão de arquitetura e senso de dono, que goste de resolver problemas complexos e contribuir ativamente para a evolução do ecossistema de dados da Avenue.
No seu dia a dia, você terá como responsabilidade
- Desenvolver, manter e evoluir pipelines de dados escaláveis e resilientes;
- Projetar e implementar soluções para ingestão, transformação e disponibilização de dados;
- Atuar na construção e evolução da arquitetura de dados da companhia;
- Garantir qualidade, governança, observabilidade e confiabilidade dos dados;
- Trabalhar em parceria com times de Engenharia, Produto, Analytics e Negócio para entender necessidades e transformar requisitos em soluções técnicas;
- Participar de discussões arquiteturais e decisões técnicas de longo prazo;
- Promover boas práticas de desenvolvimento, automação e DataOps.
Requisitos Obrigatórios
Para se encaixar na posição, buscamos alguém com experiência e conhecimento nos seguintes pontos:
- Experiência sólida como Data Engineer atuando em ambientes modernos de dados;
- Domínio de Python para desenvolvimento de soluções de engenharia de dados;
- Experiência com modelagem de dados e construção de pipelines ETL/ELT;
- Conhecimento avançado em SQL e bancos de dados relacionais e analíticos;
- Experiência com plataformas de cloud computing, preferencialmente GCP;
- Vivência com processamento e orquestração de dados em larga escala;
- Conhecimento em versionamento de código, testes e boas práticas de engenharia de software;
- Capacidade de atuar com autonomia, colaborando com diferentes áreas e influenciando decisões técnicas.
Diferenciais
Não é obrigatório, mas seria incrível se você também possuir:
- Ecossistema GCP & Analytics Moderno: Forte vivência em soluções de dados no Google Cloud Platform (GCP), especialmente BigQuery (modelagem dimensional seguindo conceitos Kimball, otimização de partições e clusters) e Cloud Storage (GCS);
- Modelagem e Orquestração de Pipelines: Experiência prática com Dataform (SQLX) ou dbt para construção de camadas de transformação (ELT), além de Google Cloud Composer (Apache Airflow) para orquestração de pipelines complexos;
- Processamento Distribuído & Lakehouse: Experiência com Databricks (Unity Catalog, Workflows e PySpark) ou GCP Dataproc para processamento de dados em larga escala;
- Mensageria e Streaming: Conhecimento em soluções de ingestão e processamento de eventos em tempo real, utilizando tecnologias como Google Cloud Pub/Sub;
- Governança e Qualidade de Dados: Vivência com ferramentas de governança, catálogo e qualidade de dados, como Dataplex, Data Catalog ou Unity Catalog;
- Otimização de Custos e Performance: Conhecimento de boas práticas para otimização de custos e performance em ambientes cloud, incluindo estratégias de armazenamento, particionamento, processamento e ingestão de dados.
Informações adicionais
Essa é uma vaga 100% home office para regime CLT.
