Estamos em busca de uma pessoa Engenheira de Dados Sênior para atuar em outsourcing em um cliente de grande porte, com foco em AWS e Databricks.

Se você tem paixão por dados, gosta de desafios técnicos e quer trabalhar próximo às áreas de negócio, essa pode ser a sua oportunidade!

Principais atividades

1. Construir e manter pipelines de ingestão e processamento de dados.
2. Trabalhar lado a lado com times de negócio, entendendo regras e transformando-as em soluções robustas.
3. Projetar e implementar a camada medalhão (S3 + Delta Lake + Unity Catalog) em Bronze/Prata/Ouro.
4. Refatorar continuamente código no Databricks, garantindo eficiência e escalabilidade.
5. Desenvolver notebooks aplicando regras de negócio complexas.

Requisitos e Qualificações

AWS:

1. S3 (camadas Bronze/Silver/Gold)
2. Glue (ETL/ELT com Spark, conversão CSV → Parquet, tratamento de dados)
3. Redshift (modelagem analítica, fatos e dimensões, performance tuning)
4. Apache Airflow (orquestração de pipelines)
5. Glue Data Catalog / Lake Formation (governança de metadados)

Técnicos

1. Spark e manipulação de formatos (CSV, JSON, Parquet)
2. SQL avançado para modelagem e queries de alta performance
3. Python aplicado à engenharia de dados
4. Boas práticas de segurança (IAM, criptografia, políticas de acesso)
5. APIs com FastAPI
6. Conteinerização com Docker
7. Arquitetura de dados escalável

Diferenciais

1. Experiência com integrações de dados via conectores e APIs (Salesforce, ERPs, etc.).
2. Vivência com CI/CD para Data Engineering e versionamento de código (Git).