Skills
Google Cloud Platform (GCP)
Databricks
Apache Spark (PySpark)
BigQuery
Dataflow
Cloud Storage
Pub/Sub
Python
SQL
ETL/ELT
Lakehouse
DataOps
Airflow/Cloud Composer
CI/CD
Snowflake
Sobre a Vaga
Estamos buscando um(a) Engenheiro(a) de Dados Sênior para liderar tecnicamente a evolução da nossa plataforma de dados. Você atuará no desenho de arquiteturas escaláveis e na entrega de soluções robustas em ambiente cloud, com foco em GCP e Databricks.
Responsabilidades
- Conduzir o desenho e a evolução da arquitetura de dados (Data Lake, Data Warehouse e Lakehouse)
- Projetar, desenvolver e otimizar pipelines de dados em alta escala (ETL/ELT)
- Atuar como referência técnica para o time de engenharia de dados
- Trabalhar com processamento distribuído utilizando Databricks (Spark/PySpark)
- Definir boas práticas de desenvolvimento, testes e deploy (DataOps)
- Garantir governança, qualidade, segurança e confiabilidade dos dados
- Otimizar performance e custos no ambiente GCP
- Integrar múltiplas fontes de dados em batch e streaming
- Apoiar áreas de BI, Analytics e Data Science na disponibilização de dados
- Participar de decisões estratégicas sobre dados e tecnologia
Requisitos
- Experiência mínima de 5 anos como Engenheiro(a) de Dados
- Experiência sólida com Google Cloud Platform (BigQuery, Dataflow, Cloud Storage e Pub/Sub)
- Experiência avançada com Databricks e Apache Spark (PySpark)
- Conhecimento em Snowflake
- Domínio de Python e SQL
- Experiência com modelagem de dados (relacional, dimensional e Lakehouse)
- Vivência com orquestração de pipelines (Airflow/Cloud Composer ou similares)
- Experiência com versionamento de código e práticas de CI/CD
- Experiência em ambientes de dados em larga escala e desenvolvimento de soluções escaláveis
- Liderança técnica em múltiplos projetos
Beneficios
- Modelo de trabalho híbrido, com 1 ida presencial a cada 15 dias em São Paulo
- Vaga efetiva (conforme contratação da empresa)
- Projeto com duração inicial de 6 meses, com possibilidade de extensão para 1 ano