Skills
SQL
Azure Databricks
PySpark
Sobre a Vaga
Na CI&T, ajudamos empresas a transformar potencial de AI em resultados reais por meio de soluções tech-integradas. Estamos buscando um(a) Engenheiro(a) de Dados Sênior para atuar no desenvolvimento de pipelines escaláveis e inteligentes para grandes volumes de dados.
Importante: se você reside na Região Metropolitana de Campinas, a presença nos escritórios da cidade será obrigatória conforme a política de frequência vigente.
Responsabilidades
- Projetar, desenvolver e manter pipelines de dados escaláveis e robustos
- Construir soluções de ingestão, transformação e modelagem com Databricks, Spark/PySpark, Cloudera e Azure Data Factory (ADF)
- Assegurar qualidade, integridade e usabilidade dos dados em todo o pipeline
- Implementar pipelines com práticas de CI/CD para processos ETL
- Desenhar e sustentar Data Lake e Data Warehouse com governança de dados
- Aplicar conceitos de FinOps para otimização de custos no processamento em nuvem
- Desenvolver e documentar workflows, processos e arquiteturas de dados
- Realizar troubleshooting técnico de pipelines e infraestrutura
- Atuar com camadas Bronze/Silver/Gold, Star Schema, Delta Tables e Delta Sharing, além de tabelas analíticas
- Alinhar entregas aos objetivos do negócio em conjunto com equipes técnicas e de negócio
- Gerenciar roadmap técnico considerando dependências, trade-offs e mudanças
Requisitos
- SQL
- Python e/ou PySpark
- Azure Databricks (workflows, jobs, Delta Tables, queries)
- Azure Data Factory (ADF)
- Cloudera (Hive, Impala, HDFS)
- Experiência com ETL/ELT e pipelines de dados
- Modelagem de dados dimensionais
- Data Lake e Data Warehouse
- Governança e qualidade de dados
- Boas práticas de CI/CD aplicadas ao ambiente de dados
- Conhecimento em otimização de código em ambientes cloud
Beneficios
- Atuação em projetos de transformação com foco em dados e AI
- Ambiente de colaboração com equipes multidisciplinares
- Oportunidade de evolução em tecnologias como Databricks, Spark e Azure
Esta vaga foi curada e enriquecida pelo 123Vagas para facilitar sua busca. A candidatura é feita no site original: jobs.lever.co.
Saiba como funciona.