Consultor(a) Engenheiro(a) de Dados
HOUER CONSULTORIA E CONCESSOES LTDAEsta vaga não aceita mais candidaturas!
Brasil
1 posição
Integral
Sobre Nós
O Grupo Houer é uma das maiores empresas do Brasil que atua no segmento em consultoria e serviços empresariais, inovação e projetos de impacto. Atuamos no ramo da infraestrutura que impacta a vida de milhões de pessoas. Estruturamos e viabilizamos projetos de concessões, PPPs e de outras vertentes em diversas áreas de atuação por todas as regiões do Brasil.
Entendemos que é preciso pensar no futuro e nos impactos que deixaremos para as próximas gerações. Nossas ações visam, sobretudo, a vontade de contribuir com um mundo melhor e mais desenvolvido. O Time Houer é composto por mais de 550 colaboradores unidos e engajados em um só propósito: transformar o mundo e impactar gerações. Nossa sede está localizada em Belo Horizonte - Minas Gerais. Contamos com escritórios em todas as regiões do Brasil.
Somos impulsionados por pessoas e pessoas movem o mundo! Somos GPTW, uma das melhores empresas para se trabalhar. Este reconhecimento é um reflexo do nosso compromisso com o bem-estar dos nossos colaboradores e da nossa busca incessante por excelência e impacto em tudo o que fazemos.
Buscamos Engenheiro(a) de Dados para construir, manter e otimizar nosso ecossistema de dados. O papel é crucial na criação de pipelines robustos e, principalmente, na implementação de mecanismos de linhagem e rastreabilidade que suportem o rigoroso processo de certificação de origem de dados exigido pelo nosso Organismo de Inspeção Acreditada (OIA). Esta função garante a integridade, qualidade e auditabilidade de todo o fluxo de Big Data.
Responsabilidades:
- Pipeline e Big Data: Construir e otimizar pipelines de dados escaláveis (ETL-V) usando Spark e Delta Lake.
- Transformação e Qualidade: Implementar lógica de transformação e modelos analíticos com dbt (Data Build Tool) nas camadas Preparation, Public e Trilhas.
- Orquestração: Projetar e gerenciar fluxos de trabalho resilientes utilizando Apache Airflow.
- Governança e Linhagem: Implementar e manter Open Metadata e Hive para registrar metadados e linhagem de dados fim a fim, vital para a certificação.
- Certificação (OIA): Desenvolver controles de auditoria, testes de consistência (data reconciliation) e documentação técnica para comprovar a origem e integridade dos dados, das fontes ao BI (PostgreSQL/Metabase).
- Infraestrutura Analítica: Otimizar o PostgreSQL para consumo por Business Intelligence, garantindo aderência aos requisitos de negócios.
Requisitos Técnicos Mandatórios
- Experiência comprovada como Engenheiro(a) de Dados.
- Proficiência em Python e SQL avançado.
- Conhecimento profundo de Apache Spark e Delta Lake.
- Experiência prática com dbt (Data Build Tool).
- Domínio na criação e gestão de DAGs no Apache Airflow.
- Familiaridade com conceitos e ferramentas de Governança de Dados e Linhagem de Dados (Data Lineage).
- Formação superior em TI ou área correlata.
- Conhecimento robusto em arquitetura de sistemas distribuídos e segurança de dados.
Diferenciais
- Governança e Big Data: Experiência com Arquitetura Data Lake (Delta Lake, Hudi ou Iceberg) e padrões de arquitetura medallion para garantia da qualidade dos dados.
- Integração de Sistemas Legados: Conhecimento da arquitetura e comportamento de Sistemas Legados (Silos/Mainframe) para garantir a extração e ingestão correta de dados críticos na camada Raw.
- Vivência anterior no setor público ou em sistemas de alta complexidade regulatória/auditoria.
- Controles de Auditoria e Metadados: Vivência em ambientes de alta complexidade regulatória (Setor Público, Financeiro) e uso de ferramentas de Metadados e Linhagem (Open Metadata ou similares) para rastreabilidade e certificação (ISO/IEC 27001).
- Experiência com Open Metadata ou similares.
- Infraestrutura Cloud Nativa: Conhecimento prático em ambientes Cloud (AWS, GCP ou Azure) e orquestração de contêineres (Docker/Kubernetes).
Perfil Comportamental
- Visão Crítica e Analítica: Natureza investigativa para questionar e entender o "porquê" de cada decisão técnica.
- Planejador e Estruturado: Habilidade para estruturar informações, criar documentação clara e planejar ações detalhadamente.
- Senso de Dono e Confiança: Agir com responsabilidade, ética e ser um representante confiável, vital para a relação com o OIA.
- Autonomia e Proatividade: Capacidade de investigar, aprender e aprofundar-se tecnicamente sem necessidade de microgerenciamento.
- Comunicação Excepcional: Habilidade para se comunicar de maneira objetiva e detalhada, traduzindo requisitos complexos e servindo como ponte técnica precisa.
PARCERIAS
- Gympass
- Universidade corporativa
- Programa de parcerias de desconto (psicólogos, nutricionistas,faculdades, contabilidade e etc.)
- Cultura humanizada e colaborativa.
Gostaria de trabalhar em uma grande empresa que seu objetivo é impactar positivamente a vida das pessoas? Então venha com a gente construir novas experiências!
Cadastre-se em nossa oportunidade e venha fazer parte do Grupo Houer que tem paixão por inovação e projetos de impacto.
Requisitos
Escolaridade
- Graduação
Benefícios
- Gympass