O que esta vaga pede
- Experiência com Engenharia de Dados
- Atuação com sustentação, manutenção e evolução de pipelines de dados
- Conhecimento em Python e SQL
- Vivência com ferramentas de orquestração, como:
- Airflow
- Azure Data Factory
- Experiência com processamento distribuído, como:
- Spark
- Databricks
- Conhecimento em bancos de dados:
- Relacionais
- NoSQL, especialmente MongoDB
- Capacidade de atuar em ambientes de alta complexidade
- Conhecimento em governança de dados e LGPD
- Habilidade para trabalhar com times multidisciplinares
- Forte capacidade analítica, resiliência e visão crítica
Diferenciais
- Experiência com projetos de IA
- Vivência com integração entre pipelines de dados e serviços de IA
- Conhecimento em MLOps
- Experiência com:
- Versionamento de código
- Observabilidade
- Infraestrutura como código
- Integração contínua
- Participação na definição de padrões arquiteturais
- Colaboração com cientistas de dados e engenheiros de machine learning
- Experiência com modelos:
- Preditivos
- Prescritivos
- IA generativa
- Responsabilidade principal:
- Garantir a estabilidade, manutenção e evolução das soluções de dados que suportam projetos de IA
- Atividades do dia a dia:
- Analisar e corrigir falhas em pipelines de dados
- Otimizar processos de ingestão e transformação de dados
- Garantir qualidade e integridade das informações usadas em modelos de IA
- Atuar em ambientes de alta complexidade, com arquiteturas distribuídas e governança de dados
- Assegurar conformidade com normas como a LGPD
- Orquestração: Airflow, Azure Data Factory
- Processamento distribuído: Spark, Databricks
- Bancos de dados: relacionais e NoSQL (MongoDB)
- Linguagens: Python e SQL