Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de Usuário

Abstract

Sistemas Analíticos Espaciais (SAEs) representam uma nova tecnologia capaz de gerenciar um grande volume de dados espaciais por meio da utilização de frameworks de processamento paralelo e distribuído de dados, tais como o Hadoop e o Spark. Um número crescente de SAEs tem sido proposto na literatura, fato que evidencia a necessidade de se realizar análises comparativas entre esses sistemas. No entanto, as comparações disponíveis no estado da arte fornecem apenas uma visão centrada no desempenho dos SAEs. Ou seja, no melhor do conhecimento do autor do presente trabalho, não existem abordagens na literatura que realizem comparações entre SAEs com base em uma visão centrada no usuário, ou seja, comparações que visam ajudar os usuários a entender como as características dos SAEs são úteis para atender aos requisitos específicos de suas aplicações espaciais. No presente trabalho, essa lacuna na literatura é preenchida. Uma comparação dos seguintes SAEs baseados em Hadoop e Spark é fornecida, utilizando como base a perspectiva de seus usuários: Hadoop-GIS, SpatialHadoop, SpatialSpark, GeoSpark, GeoMesa Spark, SIMBA, LocationSpark, STARK, Magellan, SparkGIS e Elcano. Essa comparação é realizada de acordo com um amplo conjunto de critérios relacionados às características gerais desses sistemas, aos aspectos de manipulação de dados espaciais e aos aspectos inerentes ao ambiente distribuído. Com base nessa comparação, um conjunto de diretrizes é introduzido a fim de ajudar os usuários no processo de escolha de um SAE apropriado. Dois estudos de caso baseados em aplicações do mundo real também são descritos para ilustrar a aplicabilidade dessas diretrizes. Por fim, também são realizadas discussões sobre tendências cronológicas relacionadas aos SAEs e sobre as limitações que esses sistemas devem suprir a fim de aprimorar a experiência do usuário.

Aplicação de geotecnologias na elaboração de índices socioeconômicos associados às ocorrências de desastres naturais no entorno da ferrovia entre as estações Caieiras e Francisco Morato.

“…O SparkGIS emprega a reescrita dinâmica de consultas para gerenciar normalmente grandes fluxos de trabalho de consultas espaciais que excedem os recursos distribuídos disponíveis, mas não permite uma visualização distribuída de dados espaciais, sobrecarregando o usuário com a busca de softwares para essa finalidade (BAIG et al, 2018;CASTRO, 2019). O software completo é pago, mas sua versão de somente leitura é disponibilizada gratuitamente: o Manifold Viewer.…”

“…Portanto, é necessário descobrir essa lacuna de informação através de uma revisão bibliográfica tanto de nível internacional como nacional.2.4.2.1 Big Data Geoespacial e suas ferramentasO Big Geospatial Data, que se refere ao crescente volume de dados geográficos e espaciais, contribuiu para o desenvolvimento de diversas ferramentas com a finalidade de processar eficientemente esses dados(BACHIEGA et al, 2018). Os Sistemas Analíticos Espaciais (SAEs) representam uma tecnologia nova que permite gerenciar um grande volume de dados espaciais através de frameworks de processamento paralelo e distribuído de dados; a sua maioria possui como framework base o Apache Hadoop ou o Apache Spark(CASTRO, 2019). O Apache Hadoop é uma implementação de código aberto do MapReduce, que processa um grande volume de dados de maneira paralela/distribuída em um cluster; sua maior vantagem é que ele pode ser executado em um hardware comum, não necessitando de nenhum supercomputador para gerenciar um grande banco de dados (SINGH; BAWA, 2016).…”