Engenheiro de Dados Sr.

Buscamos um(a) Engenheiro(a) de Dados para atuar no planejamento, desenvolvimento, implantação e sustentação de soluções de dados em ambiente Big Data/Data Lake.

Essa pessoa será responsável pela construção e evolução de pipelines de alto volume de dados, garantindo qualidade, disponibilidade, segurança e confiabilidade das informações, além de participar ativamente da identificação de melhorias e otimizações na arquitetura e nos processos de dados.

Principais responsabilidades:

• Planejar, desenvolver, programar e implantar pipelines de dados de alto volume para ambientes Big Data/Data Lake;
• Monitorar pipelines, identificar falhas e atuar na análise e resolução de problemas;
• Planejar e executar processos de saneamento, tratamento e qualidade de dados;
• Desenvolver, construir, testar e manter arquiteturas de bancos de dados e sistemas de processamento de dados;
• Trabalhar com processamento de dados distribuído, batch e/ou em tempo real;
• Criar e implementar métodos e técnicas que aumentem a eficiência, qualidade, disponibilidade e confiabilidade dos dados;
• Identificar oportunidades e propor melhorias, ajustes e otimizações nos processos, utilizando novas metodologias e ferramentas;
• Elaborar e manter documentação técnica, incluindo descrição, conceituação das informações e gestão de metadados;
• Apoiar atividades relacionadas à administração, governança e segurança de dados;
• Participar do planejamento e execução de projetos relacionados à plataforma e engenharia de dados.
  
  

Requisitos técnicos:

• Conhecimento em Git/GitLab;
• Conhecimento avançado em Java/Groovy;
• Conhecimento avançado em Python;
• Experiência com desenvolvimento e sustentação de pipelines de dados;
• Conhecimento de conceitos e arquiteturas de Big Data e Data Lake.

Conhecimentos desejáveis:

• Conhecimento intermediário a avançado em Apache Spark, incluindo processamento streaming e batch;
• Experiência com PySpark e/ou Scala;
• Conhecimento em tecnologias e ferramentas do ecossistema Big Data, como: NiFi;Kafka; Airflow; HDFS; Hive; HBase; Iceberg; Kudu; Impala;  Trino; Redis;
• Conhecimento intermediário a avançado em SQL;
• Conhecimento intermediário a avançado em bancos de dados Oracle e/ou MySQL.
  
  Modelo de atuação: Presencial em Goiânia - GO