No abstract

The rapid development of modern information technologies encourages organizations and enterprises to introduce innovative technologies in the information provision of their activities. Currently, this has a great impact on the successful implementation of organizational management and the adoption of correct strategic decisions. Effective processing of ever-growing amounts of information, the main part of which consists of documents and reports of various formats, is possible only under the condition of automated verification and processing. Information search in unstructured text is very difficult, because it contains a large amount of information, which requires the use of specific processing methods and algorithms to obtain useful knowledge. The article summarizes the results of an experimental study of the method of determining the attribution of an electronic document. The role of information processing and the identification of models and trends in it, which help to make decisions, as well as the principles of intelligent data analysis, are analyzed. Areas of intellectual text analysis, such as data collection, web data processing, information search and extraction, computer linguistics and natural language processing, are singled out. The expediency of implementing a prototype software product that reflects the operation of the method and shows that the method works quickly and stably has been proven.

В роботі проведено огляд методів аналізу та обробки електронних документів. Проаналізовано методи аналізу текстових документів для вирішення задачі визначення тематичної спорідненості текстів. Виконано огляд існуючих підходів до вирішення задачі класифікації. Описано основні підходи, що використовуються в задачі класифікації текстів; визначено етапи процесу класифікації та розглянуто найпоширеніші методи класифікації текстових документів. Розглянуто основні підходи до попередньої обробки тексту: Нижній регістр, Коренева корекція, Стемінг, Лематизація, Видалення стоп-слова, Нормалізація. Розглянуто переваги та недоліки кожного підходу. Розглянуто процедуру зменшення розмірності набору ознак із поділом на підпроцеси: обирання ознак та виділяння ознак. Розглянуто, в яких випадках кожен із підпроцесів є недоцільним для використання, та описано, які пошукові та фільтрові підходи і метрики є альтернативними або спорідненими для них. Зроблено висновок щодо необхідності подальшого розроблення алгоритмів класифікації на базі зазначених методів, що були б простими в реалізації, ефективними, мали низькі обчис-лювальні витрати під час навчання та високу якість класифікації в реальних завданнях. Визначено підхід до оцінки тематичної близькості документів з використанням редукції простору ознак і розглянуто алгоритм формування інформаційно-пошукових атрибутів доку-ментів для виконання автоматичної кластеризації документів. Розглянуто доцільність застосування для цього методів інтелектуального аналізу тексту. Проаналізовано відкрите програмне забезпечення з використанням розглянутих методів.