O que esta vaga pede
Cloudera CDP
Hadoop Ecosystem
Apache Airflow
HDFS
Spark
PySpark
Python
Kafka
Ver se você combina
Sobre a Vaga
Engenheiro(a) de Dados na ATIVA BPO EMPRESARIAL LTDA, remoto em SP, com atuação na sustentação de Data Lake em produção do Projeto GFIS 2 – SEFAZ/MA por R$ 120,00/hora.
Responsabilidades
- Sustentação do ambiente de Data Lake em produção
- Monitoramento de pipelines de dados batch e streaming
- Acompanhamento e análise das execuções de DAGs no Apache Airflow
- Identificação e correção de falhas nas cargas
- Análise de logs e troubleshooting
- Manutenção e ajustes em DAGs existentes
- Reprocessamento de cargas quando necessário
- Atuação com scripts em Python/PySpark
- Execução e otimização de jobs Spark/PySpark
- Manipulação e acompanhamento de dados em HDFS
- Atuação nas camadas Bronze, Silver e Gold
- Monitoramento dos SLAs das cargas
- Apoio na resolução de incidentes em ambiente produtivo
- Ajustes voltados à estabilidade, performance e confiabilidade do Data Lake
- Documentação das intervenções realizadas
Requisitos
- Experiência com Cloudera CDP / Hadoop Ecosystem
- Conhecimento sólido em HDFS, Spark e PySpark
- Experiência com Apache Airflow (monitoramento, manutenção e troubleshooting de DAGs)
- Python aplicado à engenharia e processamento de dados
- Experiência na sustentação de Data Lake em ambiente produtivo
- Conhecimento de arquitetura de dados em camadas Bronze, Silver e Gold
- Experiência com pipelines batch e streaming
- Conhecimento em Kafka
Beneficios
- Contratação PJ por hora
- Valor de R$ 120,00/hora
Organizada e reescrita por nós. A candidatura é no site da empresa (empregos.com.br) — daqui você sai preparado.
Saiba como funciona.