Skills
Apache Spark
Apache Kafka
AWS (servicos de dados e armazenamento)
Sobre a Vaga
Buscamos um(a) Engenheiro(a) de Dados hands-on para colocar em prática a arquitetura de dados, construindo integrações, pipelines de ingestão e transformações que levam os dados da origem até as camadas de consumo.
Responsabilidades
- Desenvolver e manter pipelines de ingestão e processamento de dados
- Implementar transformações para movimentar dados entre camadas (incluindo camada Silver)
- Criar integrações com fontes de dados e sistemas da empresa
- Atuar com processamento em lote (Batch) e em tempo real (Streaming)
- Garantir padronização, validação de qualidade, deduplicação e relacionamento de entidades
Requisitos
- Experiência com Apache Spark (Batch e Streaming)
- Conhecimento prático em streaming e mensageria, como Apache Kafka e Amazon Kinesis
- Domínio de Python e/ou Scala, além de SQL avançado
- Familiaridade com formatos de arquivos como CSV, JSON e TXT
- Capacidade de extrair dados de APIs e bancos (incluindo HubSpot, Odoo, Omie, CHS e banco da plataforma V3)
- Experiência com serviços de dados e armazenamento na AWS
Beneficios
- Ambiente técnico voltado a dados e engenharia de pipelines
- Oportunidade de atuar em arquitetura ponta a ponta, do ingestion ao consumo
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: br.linkedin.com.
Saiba como funciona.