Generation of a Social Network Graph by Using Apache Spark

Abstract

Генерация графа социальной сети с использованием Apache SparkБелов Ю. А., Вовчок С.И. получена 24 октября 2016Аннотация. Планируется создать метод кластеризации графа социальной сети. Для тести-рования будущего метода возникла необходимость в генерации графа, по своей структуре схоже-го с лежащими в основе существующих социальных сетей. В статье представлен алгоритм для распределенной генерации такого графа. Учитываются основные свойства социальной сети: сте-пенное распределение количества сообществ для пользователей, плотные пересечения сообществ и другие. В данном алгоритме учтены проблемы, присутствующие в подобных работах других авторов, например, проблема кратных ребер при генерации. Особенностью созданного алгоритма стала реализация, зависящая от такого параметра как количество сообществ, а не от количе-ства пользователей, как это делается в других работах. Это связано с особенностью развития структуры реальной существующей социальной сети. В работе перечислены свойства ее графа. Описана таблица, содержащая необходимые для алгоритма переменные. Составлен пошаговый алгоритм генерации. Для него определены соответствующие математические параметры. Генера-ция происходит распределенно с помощью фреймворка Apache Spark. Подробно описано, каким образом происходит разделение задач с помощью данного фреймворка. В алгоритме использует-ся модель Эрдеша-Реньи для случайных графов как наиболее подходящая и достаточно простая для реализации. Основными преимуществами созданного метода являются использование малого количества ресурсов, по сравнению с другими подобными генераторами, и скорость выполнения. Быстрота достигается за счет распределенной работы и того, что при распределенной работе алго-ритма в любой момент пользователи сети имеют свои уникальные номера и упорядочены по этим номерам, поэтому не требуется их сортировка. Разработанный алгоритм будет способствовать не только созданию эффективного метода кластеризации. Он может быть полезен в других областях, связанных, например, с поисковыми системами социальных сетей.

Identification Conditions for the Solvability of NP-Complete Problems for the Class of Prefractal Graphs

“…Количество прикладных задач в больших сетях только растет и с развитием направления анализа больших данных, увеличением числа абонентов и усложнением сетей, исследование задач на динамических графах большой размерности становится все более актуальным [1][2][3][4].…”

“…В статье [3] предлагается метод генерации графа социальной сети, структура которого схожа с известными социальными сетями. Также авторами предложен алгоритм, учитывающий основные свойства социальной сети.…”