Dynamic Reconfiguration of Data Parallel Programs

Uma análise do consumo de energia de ambientes de processamento de dados massivos em nuvem

“…A aplicação Twiddé uma implementação do algoritmo FPGrowth sobre a abstração de RDD's (Resilient Distributed Datasets) e resolve o problema de mineração de padrões frequentes, no qual dada uma série de transações, cada uma composta por um conjunto de itens, e um limiar, ele encontra todos os subconjuntos de itens que ocorrem no mínimo a quantidade de vezes especificada por esse limiar. A motivação para o uso desta aplicação no trabalho reside no grande custo computacional inerente ao processo de geração dos subconjuntos de itens para cada transação, o que consequentemente requer uso intenso do processador e se reflete em um maior uso de energia [Dias et al 2016]. O Eclaté também um algoritmo para mineração de padrões frequentes, mas que trabalha sobre uma representação vertical da base de dados.…”

“…Ao invés de um conjunto de itens para cada transação, temos conjuntos de identificadores de transações para cada item. Eclaté iterativo pela sua característica hierárquica durante a mineração e irregular pela combinatória envolvida na distribuição dos itemsets frequentes [Dias et al 2016]. Dessa forma, os procedimentos realizados a cada iteração são os mesmos, mas os dados de entrada/saída variam e consequentemente seus padrões de comunicação também são variáveis, tornando interessante seu estudo sobre o ponto de vista de consumo energético.…”