Skills
Databricks
PySpark
ETL/ELT
Data Lake
CI/CD
Git/GitHub
Azure Data Factory
Terraform
Data Quality
Sobre a Vaga
Atue na implementação e otimização de soluções avançadas de dados em ambientes Databricks, conectando necessidades de negócio a arquiteturas escaláveis de coleta, transformação, armazenamento e disponibilização.
Responsabilidades
- Desenvolver soluções para obtenção, processamento e armazenamento de dados alinhadas às estratégias da organização
- Definir camadas de dados e orientar seu uso
- Criar contratos de dados, documentação técnica e regras de validação
- Projetar algoritmos para acesso e manipulação de dados brutos, apoiando decisões estratégicas
- Automatizar e otimizar fluxos e rotinas de dados para melhoria contínua de desempenho
- Conduzir a estratégia e a implementação do ambiente de Data Lake
- Implementar processos de ETL/ELT escaláveis, resilientes e eficientes para demandas analíticas
- Gerenciar a aquisição de dados, avaliando fontes e garantindo qualidade e relevância
Requisitos
- Experiência sólida com o ecossistema Databricks e PySpark, incluindo processamento distribuído e otimização de jobs
- Conhecimentos em Databricks Apps ou Streamlit para criação de interfaces e dashboards
- Capacidade de desenhar e implementar pipelines ponta a ponta (Ingestão, Transformação e Carga)
- Domínio de Git/GitHub e prática de CI/CD para deploys automatizados e seguros
Beneficios
- Modelo PJ
- Trabalho remoto
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: bridge.inhire.app.
Saiba como funciona.