O que esta vaga pede
Engenheiro(a) de Dados AWS Sênior
Sobre a oportunidade
A ICON IT está em busca de um(a) Engenheiro(a) de Dados AWS Sênior para atuar em um projeto de integração de dados em ambiente AWS, envolvendo a ingestão de informações provenientes de uma API externa em um Data Lake corporativo já existente.
O profissional será responsável pela implementação e configuração dos fluxos de ingestão, transformação e disponibilização dos dados até a camada Trusted, respeitando os padrões de arquitetura, governança, segurança e qualidade estabelecidos no ambiente do cliente.
O projeto contempla as etapas de implementação, testes, documentação técnica e acompanhamento da estabilização da solução.
- Principais responsabilidades
- Analisar os requisitos técnicos da API REST, incluindo autenticação, documentação OpenAPI/Swagger, paginação e mecanismos de atualização incremental.
- Implementar e configurar pipelines de ingestão de dados utilizando os serviços AWS e os componentes já disponíveis no ambiente.
- Desenvolver processos de tratamento e transformação de dados nas camadas Landing, Raw e Trusted.
- Implementar mecanismos de carga inicial e incremental, controle de processamento, deduplicação e exclusão lógica.
- Garantir a integridade, consistência, rastreabilidade e qualidade dos dados processados.
- Estruturar e disponibilizar os dados para consulta por meio do Amazon Athena.
- Implementar mecanismos de monitoramento, logging e tratamento de falhas nos processos de integração.
- Realizar testes técnicos, validações e reconciliação dos dados entre origem e destino.
- Elaborar documentação técnica e realizar transferência de conhecimento para a equipe responsável pela operação.
- Apoiar a estabilização da solução durante o período de Hypercare.
- Requisitos obrigatórios
- Experiência sólida em Engenharia de Dados em ambientes AWS.
- Domínio de Python e SQL.
- Experiência prática com AWS Glue, Amazon S3 e Amazon Athena.
- Experiência com integração e ingestão de dados provenientes de APIs REST.
- Conhecimento de arquiteturas de Data Lake e processos ETL/ELT.
- Experiência com cargas incrementais, checkpoints e reprocessamento de dados.
- Conhecimento de tratamento, deduplicação e validação de dados.
- Experiência com formatos JSON e Parquet.
- Conhecimento de Git e boas práticas de versionamento de código.
Diferenciais
- Experiência com AWS Lambda, Step Functions e Amazon Event
Bridge.
- Conhecimento de AWS Glue Data Catalog.
- Experiência com documentação OpenAPI/Swagger.
- Conhecimento de infraestrutura como código (Terraform ou Cloud
- Formation).
- Vivência em ambientes corporativos com frameworks de ingestão, pipelines e padrões de governança previamente estabelecidos.
Informações adicionais
- Modalidade: 100% Remota
- Duração estimada: 2 meses, incluindo implementação e Hypercare
- Cód Icon: A67677316977
Venha fazer parte da ICON IT!
Se você possui experiência sólida em Engenharia de Dados AWS e busca participar de um projeto com desafios técnicos relevantes, queremos conhecer seu perfil.
Você conhece a Icon?
Apaixonados por pessoas e especialistas em tecnologia. Nosso trabalho é encontrar talentos e soluções sob medida para os nossos clientes.
Vem encontrar o seu projeto ideal conosco e participar da comunidade ICON!
#vemserICON
Prepare esta candidatura
Veja o match, prepare o currículo em PDF e Word para esta vaga, e só então vá ao site da empresa.