Análise da Influência da Modelagem e Formato de Dados no Desempenho de Data Warehouse Baseado em Hadoop-Hive

Abstract

O desenvolvimento de data warehouse em ambientes em nuvem tem crescido. A modelagem de dados neste ambiente ainda não tem um padrão definido. Assim, esse artigo tem como objetivo apresentar uma análise comparativa de desempenho do uso da plataforma Hive no modelo floco de neve e totalmente desnormalizado. Os dados utilizados para análise são os dados abertos do Exército Brasileiro no ambiente Google Cloud. As análises são realizadas para diferentes quantidades de linhas no Hive, para um cenário de configuração do cluster e para dois tipos de armazenamento das tabelas. Por fim, utilizando o formato Parquet nas tabelas, obteve-se um desempenho mais de quatro vezes superior ao do formato CSV.

Analysis of the Influence of Modeling, Data Format and Processing Tool on the Performance of Hadoop-Hive Based Data Warehouse

“…These results complement our previous conclusion in [ de Oliveira et al 2021]: there is no best scenario in general, but for a group of specific queries, as well as data processing tools. Thus, it is necessary to group similar queries and suit not only the data format but the data processing tool as well.…”

“…Hive has been used to implement Big Data Warehouse architectures. This article is an extension of the article published in the proceedings of the 2021 Brazilian Symposium on Databases (SBBD), [de Oliveira et al 2021]. In this extended version, we broadened the test scenarios with new experiments.…”