Xi-DL: um Sistema de Gerência de Data Lake para Monitoramento de Dados da Saúde

Abstract

Na última década, diversos domínios científicos vêm produzindo um grande volume de dados heterogêneos (i.e., estruturados e não-estruturados) e variantes ao longo do tempo. Apesar da popularidade, tecnologias como Data Warehouses têm se mostrado pouco adaptáveis a esses tipos de dados. Por outro lado, os Data Lakes se mostram flexíveis nesse cenário, uma vez que não necessitam de modelagem prévia (os dados são armazenados em seu formato bruto) e provêem mecanismos de consulta. Apesar de existirem diversas soluções voltadas para Data Lakes (a maioria baseada no stack Hadoop), elas requerem determinada expertise em computação que nem todo cientista possui. Esse artigo apresenta o ξ-DL, um sistema de gerência de Data Lakes para dados científicos, que permite que cientistas sem conhecimento profundo em computação possam gerenciar seus Data Lakes. O ξ-DL foi avaliado por meio de um estudo de viabilidade com um dataset de COVID-19 no Brasil. A avaliação inicial com usuários do domínio mostrou que a abordagem é promissora.