Skills
Apache Kafka
AWS (DMS, S3, Glue, Athena, Kinesis)
Snowflake
Sobre a Vaga
Estamos em busca de uma pessoa Data Engineer para atuar na construção e sustentação de pipelines de streaming near-real-time, conectando fontes transacionais e eventos ao Snowflake. Você vai trabalhar com arquitetura orientada a eventos, qualidade de dados e observabilidade ponta a ponta.
Responsabilidades
- Projetar, construir e manter pipelines de ingestão em tempo real até o Snowflake
- Modelar tópicos Kafka, particionamento e retenção, garantindo evolução de schema
- Implementar producers/consumers e aplicar semânticas de entrega (at-least-once / exactly-once conforme o cenário)
- Realizar captura contínua de mudanças (CDC) e integrar fontes (incluindo bancos transacionais e SAP)
- Operacionalizar ingestão contínua no Snowflake, reduzindo latência e custo
- Tratar falhas com mecanismos como dead-letter queues, idempotência, backpressure e validação de dados
- Instrumentar métricas (lag, throughput e freshness) e definir alertas/SLOs para os fluxos
- Documentar arquitetura e decisões técnicas, além de apoiar code review e alinhamentos com clientes
- Gerenciar entregas do projeto com práticas ágeis, em colaboração com times central e unidades de negócio
Requisitos
- Experiência sólida com AWS (DMS, S3, Glue, Athena, Kinesis, IAM, VPC/networking)
- Domínio de arquitetura de streaming e trade-offs entre latência e consistência
- Experiência com CDC (redo logs, supplemental logging e replicação incremental)
- Atuação comprovada com Apache Kafka em produção
- Experiência prática com ingestão e modelagem no Snowflake, incluindo SQL avançado e modelagem relacional/dimensional
- Conhecimento de IaC e CI/CD com Terraform e esteiras de deploy para infraestrutura de streaming
- Inglês avançado/fluente para atuação internacional
Beneficios
- Trabalho 100% remoto
- Plataforma de terapia e nutricionistas online
- Plataforma de bem-estar
- Plano de carreira acelerado
- Mentorias, 1on1, Hora BIX, Happy Hours e aulas online de inglês
- Folga no aniversário
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: bixtecnologia.inhire.app.
Saiba como funciona.