Development of the quantitative method for automated text content authorship attribution based on the statistical analysis of N-grams distribution

Abstract

Розглянуто особливостi застосування технологiй лiнгвостатистики для iдентифiкацiї стилiстики автора текстового контенту науково-технiчного профiлю. Квантитативний лiнгвiстичний аналiз тексту використовує переваги контент-монiторiнгу на основi методiв NLP для визначення та аналiзу множини стопових слiв, ключових слiв, стiйких словосполучень та дослiдження N-грам. Останнi використовують в методах лiнгвометрiї для визначення приналежностi аналiзованого тексту конкретному авторовi у вiдсотках. Розроблено квантитативний метод автоматичного визначення авторства текстового контенту на основi статистичного аналiзу розподiлу 3-грам. Запропоновано пiдхiд реалiзацiї визначення автора україномовного тексту науково-технiчного профiлю. Отримано експериментальнi результати запропонованого методу для визначення приналежностi аналiзованого тексту конкретному автору за наявностi еталонного авторського тексту. Застосування лiнгвостатистичного аналiзу 3-грам до множини статей дозволить сформувати пiдмножину подiбних за лiнгвiстичними характеристиками публiкацiй. Накладання на пiдмножину додаткових умов у виглядi проведення статистичних та квантитативних аналiзiв (множини ключових слiв, стiйких словосполучень, стилеметричного, лiгвометричного тощо) дозволить значно скоротити цю пiдмножину, уточнивши список ймовiрнiших авторських робiт. Для якiсного та ефективного аналiзу контенту при визначеннi ступеня авторства конкретному автору пропонуємо аналiзувати еталонного тексту та дослiджуваного в декiлька етапiв: лiнгвометричний аналiз коефiцiєнтiв рiзноманiття авторського мовлення, стилометричний аналiз, аналiз стiйких словосполучень, лiнгвостатистичний аналiз 3-грам. Для автоматизованого опрацювання тексту має велике значення не тiльки частота появи тiєї чи iншої категорiї, а взагалi присутнiсть в дослiджуваному текстi. Кiлькiсний пiдрахунок дозволяє зробити об'єктивнi висновки щодо спрямованостi матерiалiв за кiлькiстю уживань одиниць аналiзу в дослiджуваних текстах. Якiсний аналiз робить те саме, але внаслiдок дослiдження того, чи зустрiчається (i в якому контекстi) певна важлива оригiнальна категорiя взагалi Ключовi слова: NLP, контент, контент-монiторiнг, стоп-слова, контент-аналiз, статистийний лiнгвiстичний аналiз, квантитативна лiнгвiстика, статистична лiнгвiстика, лiнгвометрiя UDC 004.