Skills
AWS (DMS, S3, Glue, Athena, Kinesis, IAM, VPC)
Kafka e CDC (Change Data Capture)
Databricks (Spark, Structured Streaming, Delta Lake, Unity Catalog)
Sobre a Vaga
Estamos em busca de um(a) Engenheiro(a) de Dados para atuar na evolução da nossa plataforma de dados. Você vai desenhar e implementar pipelines modernos, com foco em streaming near-real-time e arquitetura lakehouse, garantindo qualidade, governança e observabilidade ao longo de todo o ciclo de dados.
Responsabilidades
- Projetar e implementar a migração de pipelines batch legados para uma arquitetura de streaming de dados
- Configurar e operar CDC na origem, replicando dados via AWS DMS para as camadas de streaming e lakehouse
- Modelar tópicos, partições e estratégias de serialização no Kafka, assegurando ordering, throughput e tolerância a falhas
- Desenvolver pipelines de ingestão e processamento no Databricks com Structured Streaming e Delta Lake
- Assegurar qualidade, observabilidade e governança dos dados em trânsito e em repouso
- Documentar decisões técnicas, apoiar code review e participar de alinhamentos com clientes
- Gerenciar atividades do projeto com práticas ágeis para garantir entregas por sprint
Requisitos
- Experiência sólida com serviços AWS (DMS, S3, Glue, Athena, Kinesis, IAM, VPC/networking)
- Conhecimento em arquitetura de streaming near-real-time, incluindo trade-offs entre latência e consistência
- Experiência com CDC (captura contínua via redo logs, supplemental logging e replicação incremental)
- Atuação comprovada com Apache Kafka em ambientes de produção
- Domínio de Databricks: Spark, Structured Streaming, Delta Lake e arquitetura lakehouse (bronze/prata/ouro)
- Experiência com Unity Catalog, lineage e frameworks de data quality
- SQL avançado e modelagem de dados relacional e dimensional
- Inglês avançado/fluente para atuação internacional
Beneficios
- Trabalho 100% remoto
- Plataforma de terapia e nutricionistas online
- Plataforma de bem-estar
- Plano de carreira acelerado
- Contato direto com líderes de grandes empresas
- Mentoria, Hora BIX, Happy Hours e programas 1on1
- Aulas on-line de inglês (Cambly)
- Folga no aniversário
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: bixtecnologia.inhire.app.
Saiba como funciona.