SmarT: Uso de Aprendizado de Máquina para Filtragem e Recuperação Eficiente de Dados Espaciais e Temporais em Big Data

Abstract

Com o aumento do volume de dados de séries temporais na era de Big Data, a filtragem e recuperação eficiente de um grande volume de dados, utilizados como entrada no processamento de séries temporais, são uns dos maiores desafios da área. Diversos sistemas de Big Data foram criados para lidar com estes desafios, mas nenhum possui o melhor desempenho de filtragem e recuperação de dados em todos os cenários com filtros espaciais e temporais. Este trabalho apresenta o motor de busca SmarT que utiliza algoritmos de aprendizado de máquina para escolher, em tempo real, o melhor sistema Big Data para filtrar e recuperar os dados de séries temporais. O trabalho avalia o Apache Spark, Elasticsearch e SciDB e mostra uma redução de quase 22% do tempo de resposta utilizando o SmarT.

SmarT: Machine Learning Approach for Efficient Filtering and Retrieval of Spatial and Temporal Data in Big Data

“…This paper is an extended version of [Oliveira et al 2020], presented in the XXXV Brazilian Symposium on Databases (SBBD 2020). In particular, the present work introduces new experiments and analyses of the SmarT query engine, an updated list of related works, and a different formalization of the problem.…”