Engenheiro de Dados Sênior (AWS - PySpark - Kafka)

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas! Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade. Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados. Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro. Cadastre-se agora mesmo em nossas vagas!

Responsabilidades e atribuições

Buscamos um Engenheiro de Dados Sênior que, além de construir e operar pipelines, assuma responsabilidade arquitetural sobre a plataforma de dados orientada a eventos: desenho de tópicos e contratos de eventos, padrões de ingestão em streaming, processamento com PySpark e decisões de performance, resiliência e custo no ambiente AWS. É uma posição de execução técnica pesada: a pessoa escreve código, faz tuning de Kafka e Spark, revisa o desenho de terceiros e responde pela confiabilidade dos dados que alimentam painéis executivos, relatórios a clientes e obrigações regulatórias. O ambiente é regulado, no mercado financeiro e de investimentos, onde rastreabilidade, reprodutibilidade e correção auditável dos números são requisitos de primeira ordem. A interlocução acontece com áreas como Wealth Management, Comercial, Risco, Compliance e Operações, além da atuação como referência técnica em Kafka e streaming para engenheiros pleno e júnior. Principais responsabilidades
Projetar e evoluir a arquitetura orientada a eventos na AWS, com Kafka (Amazon MSK ou Confluent) como backbone de integração entre sistemas transacionais e a plataforma analítica. Desenvolver producers e consumers Kafka com PySpark (Spark Structured Streaming), com controle explícito de offsets, checkpointing, idempotência, tratamento de late data e semântica de entrega adequada a cada caso. Definir e defender o desenho de tópicos, chaves, particionamento, retenção, compactação e contratos de eventos, com justificativa de trade-offs entre ordenação, throughput e custo. Governar esquemas no Schema Registry (Avro, Protobuf ou JSON Schema), definindo regras de compatibilidade e evolução sem quebrar consumidores. Implementar Change Data Capture (CDC) de bancos transacionais via Kafka Connect ou Debezium e integrar com fontes como APIs de custodiantes, distribuidores e provedores de mercado. Construir a camada de persistência dos eventos no Data Lake em S3, com formatos de tabela abertos (Iceberg ou Delta), organização de camadas e integração com Glue, EMR e Redshift. Conduzir tuning de performance e custo em Kafka e Spark, cobrindo lag de consumer groups, rebalanceamento, dimensionamento de brokers, micro-batch, skew e spill. Instrumentar observabilidade e controles automatizados de qualidade dos fluxos de eventos, cobrindo lag, freshness, volumetria, quebras de contrato e reconciliação entre origem e destino. Garantir linhagem e rastreabilidade ponta a ponta, da origem do evento ao número no painel, aplicando controles de acesso, criptografia, segregação por sensibilidade e conformidade com LGPD e normas do setor. Automatizar provisionamento e deploy da plataforma com infraestrutura como código e CI/CD, documentar decisões arquiteturais (ADRs) e atuar em code review, pareamento e definição de padrões com o time.

Requisitos e qualificações

Requisitos obrigatórios6+ anos de experiência em engenharia de dados, sendo pelo menos 2 anos com responsabilidade arquitetural sobre plataformas orientadas a eventos (ter desenhado a arquitetura, não apenas implementado o desenho de outra pessoa). Histórico comprovado de ter colocado em produção e operado uma plataforma de streaming com Kafka, com incidentes, plantão e consequências reais. Domínio de Apache Kafka: tópicos, partições, chaves, consumer groups, offsets, retenção, compactação, rebalanceamento, configuração de producers e consumers e diagnóstico de lag. Experiência prática na construção de producers e consumers com PySpark (Spark Structured Streaming) integrados ao Kafka, incluindo checkpointing, triggers, watermarks e gestão de estado. Experiência consolidada no ecossistema de dados AWS: Amazon MSK, S3, Glue, EMR, Lambda, IAM e Redshift ou equivalente. Python aplicado a engenharia de dados, com código modular, testável e versionado (não apenas notebooks), incluindo tipagem e testes automatizados. SQL avançado, com window functions, CTEs e leitura de plano de execução. Schema Registry e formatos de serialização (Avro, Protobuf ou JSON Schema), com regras de compatibilidade e evolução de esquemas. Kafka Connect ou Debezium para Change Data Capture (CDC) e integração de fontes transacionais à plataforma de dados. Infraestrutura como código (Terraform, Cloud
Formation ou CDK), Git, cultura de code review e CI/CD aplicado a dados. Formatos de tabela abertos (Iceberg ou Delta) e arquitetura Lakehouse sobre S3. Diferenciais
Experiência no mercado financeiro: investimentos, wealth management, custódia, renda fixa e variável, fundos, posição e movimentação. Vivência com dados regulatórios de CVM, BACEN, BSM e ANBIMA, incluindo prazos e formatos de entrega. Confluent Cloud ou Confluent Platform, Kafka Streams, ksqlDB ou Apache Flink (incluindo Amazon Managed Service for Apache Flink). Kinesis Data Streams e Firehose como alternativa ou complemento ao Kafka na AWS. Orquestração com Apache Airflow (MWAA) ou Step Functions e transformação versionada com dbt. Ferramentas de qualidade, catálogo e observabilidade (Great Expectations, Soda, DataHub, OpenMetadata, Prometheus, Grafana, Cloud
Watch). Certificações AWS (Data Engineer, Solutions Architect) ou Confluent Certified Developer for Apache Kafka. Competências comportamentais
Rigor com correção numérica e com garantias de entrega: em ambiente regulado, evento perdido ou duplicado é dado errado. Comunicação escrita clara, capaz de registrar a arquitetura de eventos em documento que sobreviva à saída do autor. Autonomia para investigar do painel até o evento de origem sem depender de aprovação a cada passo. Postura de referência técnica, com code review, pareamento e mentoria de profissionais pleno e júnior. Capacidade de traduzir demandas de negócio em desenho de eventos sustentável, inclusive recusando atalhos que geram dívida técnica. Honestidade na estimativa de escopo, risco e prazo no planejamento técnico. INDISPENSÁVEL Conhecimento/Atuação em: Apache Kafka em produção (Amazon MSK ou Confluent), com desenho de tópicos e operação de consumer groups
Producers e consumers com PySpark (Spark Structured Streaming) integrados ao Kafka
Ecossistema de dados AWS (MSK, S3, Glue, EMR, IAM)
Schema Registry e Change Data Capture (Kafka Connect ou Debezium)
Infraestrutura como código e CI/CD aplicado a dados

Informações adicionais

Atuação: 100% Remoto.