Data Engineer (Pleno) | Remota - 135416 INT (Alphaville - Barueri, BR, 06.454-00

O que buscamos

Buscamos um(a) profissional com experiência em engenharia e modelagem de dados, capaz de desenvolver e otimizar soluções analíticas, garantindo qualidade, governança e integridade dos dados. A pessoa atuará em colaboração com áreas de negócio e times técnicos para transformar necessidades corporativas em soluções escaláveis de dados, integrando diferentes fontes, serviços e APIs.

Responsabilidades

Atuar na modelagem e desenho de estruturas de dados eficientes para consultas analíticas, assegurando desempenho, escalabilidade e integridade dos dados;

Garantir a governança, qualidade, segurança e conformidade dos dados de acordo com normas, políticas e regulamentações aplicáveis;

Implementar e sustentar práticas de governança de dados visando a padronização e confiabilidade das informações;

Colaborar com stakeholders para entender necessidades de negócio e traduzir requisitos em soluções técnicas de dados;

Otimizar pipelines de dados para melhorar a performance de processos analíticos e relatórios;

Integrar dados provenientes de diferentes fontes, sistemas, serviços e APIs para geração de insights e suporte à tomada de decisão;

Desenvolver, manter e aprimorar workflows e processos de engenharia de dados utilizando ferramentas e frameworks do ecossistema de dados;

Realizar análises de desempenho e otimização de ambientes de banco de dados;

Requisitos e Qualificações

Experiência avançada com Python aplicado a soluções de dados;

Conhecimento em bibliotecas de manipulação e processamento de dados, como Pandas;

Experiência com Apache Airflow para criação e manutenção de DAGs;

Conhecimento em integração entre Airflow e dbt-core;

Experiência com dbt-core para desenvolvimento e manutenção de modelos e macros;

Vivência na migração de códigos SQL para DBT;

Conhecimento em Git e práticas de versionamento e implantação de código;

Conhecimento avançado em SQL Server, incluindo performance tuning, otimização e análise de desempenho;

Familiaridade operacional com arquitetura Medallion;

Conhecimentos em análise de dados e modelagem de dados de negócio;

Conhecimento em proteção de dados, governança e compliance.

Diferenciais

Experiência em projetos de integração de múltiplos serviços e APIs;

Vivência em iniciativas de governança de dados corporativos;

Experiência em ambientes analíticos de grande volume de dados;

Conhecimento de processos relacionados a gestão de riscos, requisitos regulatórios e compliance de dados.

Originally posted on Himalayas