Engenheiro de Dados
A Teddy está em busca de um Engenheiro de Dados para atuar no desenvolvimento, sustentação e evolução da nossa plataforma de dados. Buscamos uma pessoa com experiência em pipelines, Data Lake, modelagem de dados, arquitetura cloud e processos de ETL/ELT, que tenha visão técnica para transformar dados brutos em informações confiáveis, organizadas e prontas para apoiar decisões estratégicas do negócio.
Essa pessoa será responsável por construir e manter soluções de dados escaláveis, garantindo qualidade, consistência, governança e performance nos processos de ingestão, transformação, armazenamento e disponibilização das informações. O profissional atuará em um ambiente colaborativo, com times multidisciplinares, utilizando tecnologias como Python, PySpark, SQL, Apache Airflow, Git e serviços AWS.
Responsabilidades:
- Desenvolver, manter e evoluir pipelines de dados em batch e/ou tempo real para ingestão, transformação e disponibilização de dados no Data Lake.
- Construir e sustentar processos de ETL e ELT, garantindo que os dados estejam limpos, estruturados, consistentes e preparados para consumo analítico.
- Atuar com modelagem de dados, incluindo modelagem relacional, dimensional e estruturas voltadas para BI, Data Warehouse e Data Lake.
- Trabalhar com bancos de dados SQL e NoSQL, realizando consultas complexas, otimização de performance e organização das informações para diferentes usos de negócio.
- Apoiar a definição e evolução da arquitetura de dados em ambiente cloud, considerando escalabilidade, segurança, performance e custo.
- Atuar com infraestrutura de dados, apoiando a sustentação de jobs, serviços, integrações, automações e componentes da arquitetura.
- Manipular e processar arquivos em formatos como Parquet, Delta e Iceberg.
- Garantir boas práticas de administração, governança e qualidade de dados, contribuindo para a confiabilidade das informações utilizadas pela empresa.
- Trabalhar em conjunto com times de Produto, Engenharia, BI, Analytics e demais áreas de negócio para entender necessidades, propor soluções e entregar dados de valor.
- Atuar em ambiente de metodologia ágil, colaborando com planejamento, refinamento, priorização e entrega contínua de soluções.
Ferramentas e Tecnologias:
- Apache Airflow: Orquestração e automação de fluxos de dados, garantindo a execução correta, monitorada e eficiente dos processos.
- Python e PySpark: Desenvolvimento de scripts, automações, integrações, manipulação de dados e construção de pipelines escaláveis.
- SQL e NoSQL: Consulta, modelagem, organização e otimização de dados em bancos relacionais e não relacionais.
- AWS: Utilização de serviços cloud para armazenamento, processamento, orquestração e análise de dados, incluindo S3, Glue, Athena, Lambda, ECS, EC2 e outros serviços relacionados.
- Git: Controle de versão de código, organização de alterações, colaboração em equipe e boas práticas de desenvolvimento.
- Formatos de dados: Manipulação de arquivos Parquet, Delta e Iceberg em ambientes de Data Lake e processamento distribuído.
- Power BI: Conhecimento em consumo de dados por ferramentas de BI, apoiando a criação de bases confiáveis para relatórios, dashboards e análises.
Habilidades necessárias:
- Experiência prática em Engenharia de Dados.
- Sólidos conhecimentos em SQL e bancos de dados relacionais.
- Conhecimento em bancos NoSQL.
- Experiência com desenvolvimento e manutenção de ETLs, ELTs e pipelines de dados.
- Experiência com Data Lake, Data Warehouse e arquitetura de dados em cloud.
- Conhecimento em modelagem de dados, incluindo modelagem dimensional.
- Proficiência em Python e bibliotecas voltadas para dados.
- Conhecimento em PySpark e/ou ferramentas de processamento distribuído.
- Familiaridade com Apache Airflow ou outras ferramentas de orquestração.
- Experiência com Git e boas práticas de versionamento.
- Conhecimento em serviços AWS, especialmente S3, Glue, Athena, Lambda, ECS e EC2.
- Conhecimento em infraestrutura de dados, governança, qualidade e administração de dados.
- Capacidade de trabalhar de forma independente e em equipe.
- Vivência com metodologia ágil.
- Conhecimentos que fazem a diferença:
- Experiência com Big Data e processamento massivamente paralelo.
- Conhecimento em Spark e arquiteturas distribuídas.
- Experiência com modelagem dimensional, BI e Data Warehouse.
- Conhecimento em Power BI ou outras ferramentas de visualização de dados.
- Experiência com formatos Parquet, Delta e Iceberg.
- Experiência em ambientes de dados escaláveis em cloud.
Benefícios:
- VR/VA Flash Benefícios
- Assistência Médica — Bradesco Saúde
- Assistência Odontológica — Bradesco
- Programa de Orientação Pessoal — C4Life
- Day Off de Aniversário
- Plano de Carreira
- Total Pass
- Seguro de Vida
- FIAP
- Alura
Localização | ||
|---|---|---|
São Bernardo do Campo, SP, BR |