Підхід До Виявлення Аномалій В Потоках Тектових Даних

Abstract

УДК 004.8 Ю.О. Олійник, О.Є. Афанасьєва, Г.Д. Аршакян ПІДХІД ДО ВИЯВЛЕННЯ АНОМАЛІЙ В ПОТОКАХ ТЕКТОВИХ ДАНИХ Анотація. Збільшення потоків інформації веде за собою необхідність розробки спеціалізованих інтелектуальних засобів та методів для обробки величезної кількості даних. Так популярність соціальних мереж, різного роду месенджерів вимагає створення спеціалізованих засобів для обробки потоку текстових повідомлень. Дане дослідження присвячене дослідженню та розробці методу виявлення аномальних елементів в потоках текстових даних. Особлива увага присвячена підтримці україномовних текстів. Ключові слова: аномалія, isolation forest, text mining, реферація тексту, семантичний аналіз. � Постановка проблеми. Аномалія -певне відхилення від норми [1]. Під виявленням аномалії приймаємо пошук непередбачених значень або певних шаблонів у потоках даних. Відомі методи та підходи виявлення аномалій не розраховані на пряму роботу з текстовими даними, та більше підходять для виявлення аномалій в числових даних або категорійних даних. Тому необхідно представити підхід та реалізувати метод виявлення аномальних елементів в потоках текстових даних. Для цього необхідно вирішити такі завдання: 1. Запропонувати підхід для виявлення аномальних елементів в потоках. 3. Запропонувати метод автоматичної реферації тексту. 3. Реалізувати метод виявлення аномалій в потоках текстових даних. 4. Порівняти результати виявлення аномалій для потоку оригінальних документів та потоку документів після реферації. 5. Забезпечити підтримку україномовних текстів для розробленого підходу та методів. ��������������������������������� ��Олійник Ю.О., Афанасьєва О.Є., Аршакян Г.Д., 2020� «Системні технології» 2 (127) 2020 «System technologies» ISSN 1562-9945 (Print) ISSN 2707-7977 (Online) 127 Аналіз публікацій по темі дослідження. Виявленню аномалій присвячено досить багато досліджень. Дослідження [1] дає рекомендації з виявлення аномалій для різних областей, як то кібербезпека, фінанси, охорона здоров'я, оборона, виробництво та інше. Для виявлення аномалій пропонується використати 3 підходи: оснований на відстані, оснований на щільності, оснований на ранжуванні. В нашому випадку необхідно оброблювати потоки даних, що веде до постійної появи нових даних.

Система Аналізу Текстових Потоків Даних

“…Виявлення аномалій в потоках текстових даних. Підхід до виявлення аномалій вже був описаний в статті [1]. Підхід будується на виконанні попередньої обробки тексту, реферуванні тексту, побудови BOW та визначення ознак TF-IDF.…”