Система Аналізу Текстових Потоків Даних

Abstract

Дослідження присвячене розробці системи аналізу текстових потоків даних. В постановці завдання наведено проблему обробки потоків текстової інформації та відзначається відсутність програмних засобів одночасної обробки потоків текстових даних українською та російською мовами. Проведено аналіз останніх досліджень та встановлено, що для обробки потоків даних необхідно застосовувати спеціалізоване програмне забезпечення обробки потокових даних. Виявлено, що існує вкрай мало засобів для обробки україномовних текстів, а також те, що не існує засобів для одночасної підтримки україномовних та російськомовних текстів. Метою даного дослідження є розробка архітектури та реалізація програмного забезпечення системи аналізу текстових потоків даних. Наведено опис математичної моделі потоку текстових даних на основі ковзного вікна. Наведено завдання для обробки потоків текстових даних від базових перетворень тексту та попередньої обробки до інтелектуального аналізу текстових потоків даних. Сформульовано математичну постановку завдання визначення емоційного забарвлення потоків текстових даних на основі моделі ковзного вікна. В процесі дослідження виділено 4 підсистеми: підсистему збору та транспортування повідомлень потоків даних, підсистему аналізу текстових потоків, підсистему зберігання результатів аналізу потоків даних та підсистему візуалізації. Особливістю системи є підтримка обробки україномовних текстів, для чого було спеціально розроблено програмну бібліотеку UANLP. Дана бібліотека дозволяє також оброблювати російськомовні тексти. Обробка потоків текстових даних виконується на основі компоненту Spark Streaming, що підтримує роботу з вікнами. Бібліотека Spark MLib та ML дозволяють використовувати засоби машинного навчання для аналітичної обробки потоків текстових даних, на основі яких виконується сентимент аналіз, виявлення аномалій, елементів пропаганди, дезінформації тощо. Обґрунтовано використання програмних компонент − сервісу повідомлень Kafka, технології розподіленої обробки даних Apache Spark, бази даних Elasticsearch та сервісу візуалізації Kibana. Описано процес обробки даних від генерації потоків даних до візуалізації результатів аналізу.