Skills
Databricks architecture
Apache Spark
Delta Lake
Sobre a Vaga
Atuará em uma iniciativa de escalabilidade para a plataforma Databricks, avaliando o ambiente atual e definindo uma arquitetura alvo para aumentar desempenho, resiliência e eficiência operacional.
Responsabilidades
- Mapear o estado atual do Databricks, incluindo desenho de workspace, uso de computação, workloads, dependências e padrões de processamento de dados
- Documentar arquitetura atual e futura, com foco em escalabilidade, confiabilidade e otimização operacional
- Identificar gargalos de performance, limitações de escalabilidade e oportunidades de redução de custos em pipelines, clusters, armazenamento e consumo
- Definir padrões de plataforma escalável para ingestão, transformação, orquestração e data serving alinhados a diretrizes corporativas
- Recomendar melhorias de otimização de workloads, autoscaling, governança de computação e ajustes de performance
- Projetar capacidades “AI-ready” no Databricks, incluindo padrões reutilizáveis para GenAI, retrieval, vector search, model serving e fluxos de conhecimento
- Propor abordagens de integração e implantação para aumentar confiabilidade, manutenibilidade e consistência entre ambientes
- Atuar em conjunto com áreas de arquitetura, engenharia, dados, segurança e operações para transformar necessidades em decisões técnicas
- Contribuir com planejamento de implementação, governança técnica e sequenciamento de execução das iniciativas
- Produzir documentação clara de arquitetura, guias de engenharia e visões de dependências para apoiar a execução e a sustentabilidade da plataforma
Requisitos
- Experiência sólida em arquitetura Databricks, data engineering ou platform engineering
- Conhecimento prático em Apache Spark e Delta Lake, além de tuning de clusters e otimização de workloads
- Capacidade comprovada para desenhar e otimizar plataformas de dados de alta escala com foco em performance, confiabilidade e eficiência de custos
- Experiência habilitando soluções de IA/ML e GenAI no Databricks, incluindo bases de dados prontas para IA e padrões de deploy em produção
- Vivência com governança e design seguro de plataforma, incluindo estratégia de workspace, controles de acesso e práticas de gestão de dados
- Boa comunicação para colaborar com times técnicos e de negócio
Beneficios
- Flexibilidade de atuação (in-office, híbrido ou remoto, conforme localidade)
- Plano de saúde e benefícios médicos
- Programas de reconhecimento e bem-estar
- Apoio a aprendizado contínuo com reembolso
- Eventos de time e benefícios locais
- Equipamentos de alto padrão
- Compensação esportiva e bônus por indicação
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: job-boards.greenhouse.io.
Saiba como funciona.