PT

Engenheiro de Dados

Descrição da vaga:

A Teddy está em busca de um Engenheiro de Dados para atuar no desenvolvimento, sustentação e evolução da nossa plataforma de dados. Buscamos uma pessoa com experiência em pipelines, Data Lake, modelagem de dados, arquitetura cloud e processos de ETL/ELT, que tenha visão técnica para transformar dados brutos em informações confiáveis, organizadas e prontas para apoiar decisões estratégicas do negócio.

Essa pessoa será responsável por construir e manter soluções de dados escaláveis, garantindo qualidade, consistência, governança e performance nos processos de ingestão, transformação, armazenamento e disponibilização das informações. O profissional atuará em um ambiente colaborativo, com times multidisciplinares, utilizando tecnologias como Python, PySpark, SQL, Apache Airflow, Git e serviços AWS.

Responsabilidades:

  • Desenvolver, manter e evoluir pipelines de dados em batch e/ou tempo real para ingestão, transformação e disponibilização de dados no Data Lake.
  • Construir e sustentar processos de ETL e ELT, garantindo que os dados estejam limpos, estruturados, consistentes e preparados para consumo analítico.
  • Atuar com modelagem de dados, incluindo modelagem relacional, dimensional e estruturas voltadas para BI, Data Warehouse e Data Lake.
  • Trabalhar com bancos de dados SQL e NoSQL, realizando consultas complexas, otimização de performance e organização das informações para diferentes usos de negócio.
  • Apoiar a definição e evolução da arquitetura de dados em ambiente cloud, considerando escalabilidade, segurança, performance e custo.
  • Atuar com infraestrutura de dados, apoiando a sustentação de jobs, serviços, integrações, automações e componentes da arquitetura.
  • Manipular e processar arquivos em formatos como Parquet, Delta e Iceberg.
  • Garantir boas práticas de administração, governança e qualidade de dados, contribuindo para a confiabilidade das informações utilizadas pela empresa.
  • Trabalhar em conjunto com times de Produto, Engenharia, BI, Analytics e demais áreas de negócio para entender necessidades, propor soluções e entregar dados de valor.
  • Atuar em ambiente de metodologia ágil, colaborando com planejamento, refinamento, priorização e entrega contínua de soluções.


Ferramentas e Tecnologias:

  • Apache Airflow: Orquestração e automação de fluxos de dados, garantindo a execução correta, monitorada e eficiente dos processos.
  • Python e PySpark: Desenvolvimento de scripts, automações, integrações, manipulação de dados e construção de pipelines escaláveis.
  • SQL e NoSQL: Consulta, modelagem, organização e otimização de dados em bancos relacionais e não relacionais.
  • AWS: Utilização de serviços cloud para armazenamento, processamento, orquestração e análise de dados, incluindo S3, Glue, Athena, Lambda, ECS, EC2 e outros serviços relacionados.
  • Git: Controle de versão de código, organização de alterações, colaboração em equipe e boas práticas de desenvolvimento.
  • Formatos de dados: Manipulação de arquivos Parquet, Delta e Iceberg em ambientes de Data Lake e processamento distribuído.
  • Power BI: Conhecimento em consumo de dados por ferramentas de BI, apoiando a criação de bases confiáveis para relatórios, dashboards e análises.

Habilidades necessárias:

  • Experiência prática em Engenharia de Dados.
  • Sólidos conhecimentos em SQL e bancos de dados relacionais.
  • Conhecimento em bancos NoSQL.
  • Experiência com desenvolvimento e manutenção de ETLs, ELTs e pipelines de dados.
  • Experiência com Data Lake, Data Warehouse e arquitetura de dados em cloud.
  • Conhecimento em modelagem de dados, incluindo modelagem dimensional.
  • Proficiência em Python e bibliotecas voltadas para dados.
  • Conhecimento em PySpark e/ou ferramentas de processamento distribuído.
  • Familiaridade com Apache Airflow ou outras ferramentas de orquestração.
  • Experiência com Git e boas práticas de versionamento.
  • Conhecimento em serviços AWS, especialmente S3, Glue, Athena, Lambda, ECS e EC2.
  • Conhecimento em infraestrutura de dados, governança, qualidade e administração de dados.
  • Capacidade de trabalhar de forma independente e em equipe.
  • Vivência com metodologia ágil.
  • Conhecimentos que fazem a diferença:
  • Experiência com Big Data e processamento massivamente paralelo.
  • Conhecimento em Spark e arquiteturas distribuídas.
  • Experiência com modelagem dimensional, BI e Data Warehouse.
  • Conhecimento em Power BI ou outras ferramentas de visualização de dados.
  • Experiência com formatos Parquet, Delta e Iceberg.
  • Experiência em ambientes de dados escaláveis em cloud.

Benefícios:

  • VR/VA Flash Benefícios
  • Assistência Médica — Bradesco Saúde
  • Assistência Odontológica — Bradesco
  • Programa de Orientação Pessoal — C4Life
  • Day Off de Aniversário
  • Plano de Carreira
  • Total Pass
  • Seguro de Vida
  • FIAP
  • Alura
Localização
São Bernardo do Campo, SP, BR