Skills
SQL avançado
Engenharia de Dados (ETL/ELT)
Apache Spark e arquitetura Lakehouse
Sobre a Vaga
Estamos buscando um(a) Engenheiro(a) de Dados Especialista para atuar por um projeto de 3 meses na definição, desenvolvimento e evolução da arquitetura de dados. Você será referência técnica na construção de pipelines, modernização da plataforma e na disseminação de boas práticas de engenharia.
Responsabilidades
- Projetar, desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados
- Definir arquiteturas escaláveis para ambientes on-premises e em nuvem
- Construir soluções com processamento em lote e em streaming
- Garantir qualidade, confiabilidade, observabilidade e governança dos dados
- Otimizar performance de consultas, pipelines e processos ETL/ELT
- Atuar como referência técnica para o time de Engenharia de Dados, apoiando padrões e frameworks
- Realizar code review, mentorar profissionais e promover o desenvolvimento da equipe
- Colaborar com Analytics, Ciência de Dados, Engenharia de Software e áreas de negócio
- Participar da evolução da plataforma de dados e da estratégia tecnológica
Requisitos
- Formação superior em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas
- Experiência sólida em Engenharia de Dados, com atuação em projetos de alta complexidade
- Domínio de SQL avançado
- Experiência com Python e/ou Scala
- Vivência com pipelines ETL/ELT
- Conhecimento em modelagem de dados relacionais e dimensionais
- Experiência com bancos relacionais e NoSQL
- Experiência em nuvem (AWS, Azure ou Google Cloud)
- Uso de orquestração de workflows, como Apache Airflow
- Conhecimento em Apache Spark para processamento distribuído
- Versionamento com Git e práticas de CI/CD e DataOps
- Conhecimento em arquitetura Lakehouse e tecnologias como Databricks e Delta Lake, Apache Iceberg ou Apache Hudi
- Experiência com Kafka ou outras plataformas de streaming
- Conceitos de Big Data e processamento em grande volume
- Experiência com infraestrutura como código (Terraform) e, desejável, Kubernetes e Docker
- Vivência com observabilidade e monitoramento de pipelines
Beneficios
- Atuação em projeto com duração de 3 meses
- Oportunidade de atuar como referência técnica e influenciar decisões de arquitetura
- Ambiente colaborativo com times multidisciplinares