Combining Thesaurus Knowledge and Probabilistic Topic Models

Loukachevitch, Natalia; Nokel, Michael; Ivanov, Kirill

doi:10.1007/978-3-319-73013-4_6

Cited by 4 publications

(2 citation statements)

References 15 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…A noticeable number of studies are devoted to improving the parameters of topic vector models of the corpus, in which the vector representation of documents is made on a set of topics identified as a result of text analysis on the entire corpus. For example, in [22], the improvement of the topic model is performed by artificially increasing the coincidence of synonyms, and the authors of [23] introduce information about synonyms into the prior Dirichlet distribution in order to enhance the coherence of the topics. The work [24] proposed such a concept as Thesaurus-Based Topic Model and compared various topic models.…”

Section: Document Similarity Thresholdmentioning

confidence: 99%

The problem of loss of solutions in the task of searching similar documents: Applying terminology in the construction of a corpus vector model

Краснов¹,

Смазневич²,

Baskakova³

2021

Bus. Inform.

View full text Add to dashboard Cite

This article considers the problem of finding text documents similar in meaning in the corpus. We investigate a problem arising when developing applied intelligent information systems that is non-detection of a part of solutions by the TF-IDF algorithm: one can lose some document pairs that are similar according to human assessment, but receive a low similarity assessment from the program. A modification of the algorithm, with the replacement of the complete vocabulary with a vocabulary of specific terms is proposed. The addition of thesauri when building a corpus vector model based on a ranking function has not been previously investigated; the use of thesauri has so far been studied only to improve topic models. The purpose of this work is to improve the quality of the solution by minimizing the loss of its significant part and not adding “false similar” pairs of documents. The improvement is provided by the use of a vocabulary of specific terms extracted from the text of the analyzed documents when calculating the TF-IDF values for corpus vector representation. The experiment was carried out on two corpora of structured normative and technical documents united by a subject: state standards related to information technology and to the field of railways. The glossary of specific terms was compiled by automatic analysis of the text of the documents under consideration, and rule-based NER methods were used. It was demonstrated that the calculation of TF-IDF based on the terminology vocabulary gives more relevant results for the problem under study, which confirmed the hypothesis put forward. The proposed method is less dependent on the shortcomings of the text layer (such as recognition errors) than the calculation of the documents’ proximity using the complete vocabulary of the corpus. We determined the factors that can affect the quality of the decision: the way of compiling a terminology vocabulary, the choice of the range of n-grams for the vocabulary, the correctness of the wording of specific terms and the validity of their inclusion in the glossary of the document. The findings can be used to solve applied problems related to the search for documents that are close in meaning, such as semantic search, taking into account the subject area, corporate search in multi-user mode, detection of hidden plagiarism, identification of contradictions in a collection of documents, determination of novelty in documents when building a knowledge base.

show abstract

Section: Document Similarity Thresholdmentioning

confidence: 99%

The problem of loss of solutions in the task of searching similar documents: Applying terminology in the construction of a corpus vector model

Краснов¹,

Смазневич²,

Baskakova³

2021

Bus. Inform.

View full text Add to dashboard Cite

show abstract

“…Н. Лукашевич с соавторами [7] предлагают метод решения задачи тематического моделирования, который дополняет наборы близких тем терминами из тезауруса, созданного вручную. Авторы провели несколько экспериментов с алгоритмами без тезауруса, с синонимами и с синонимами и гиперонимами, используя для измерения качества метрику уникальности ядра.…”

Section: обзор смежных работunclassified

Analysis of Influence of Different Relations Types on the Quality of Thesaurus Application to Text Classification Problems

Lagutina

Shchitov

et al. 2019

Aut. Control Comp. Sci.

View full text Add to dashboard Cite

Анализ использования различных типов связей между терминами тезауруса, сгенерированного с помощью гибридных методов, в задачах классификации текстов Лагутина Н. С., Лагутина К. В., Щитов И. А., Парамонов И. В. 1,2 получена 16 октября 2017Аннотация. Цель данной статьи проанализировать, насколько эффективно могут применяться различные типы тезаурусных связей в задачах классификации текстов. Основой исследования является автоматически сгенерированный тезаурус предметной области, содержащий три типа связей: синонимические, иерархические и ассоциативные. Для генерации тезауруса используется гибридный метод, основанный на нескольких лингвистических и статистических алгоритмах выделения семантических связей и позволяющий создать тезаурус с достаточно большим числом терминов и связей между ними. Авторы рассматривают две задачи: тематическая классификация текстов и классификация больших новостных статей по тональности. Для решения каждой из них авторами были использованы два подхода, каждый из которых дополняет стандартные алгоритмы процедурой, применяющей связи тезауруса для определения семантических особенностей текстов. Подход к тематической классификации включает в себя стандартный алгоритм BM25 вида обучение без учителя и процедуру, использующую синонимические и иерархические связи тезауруса предметной области. Подход к классификации по тональности состоит из двух шагов. На первом шаге создается тезаурус, тональные веса терминов которого считаются в зависимости от частоты встречаемости в обучаемой выборке или от веса соседей по тезаурусу. На втором шаге тезаурус применяется для вычисления признаков слов из текстов и классификации текстов методом опорных векторов или наивным байесовским классификатором. В экспериментах с корпусами BBCSport, Reuters, PubMed и корпусом статей об американских иммигрантах авторы варьировали типы связей, которые участвуют в классификации, и степень их использования. Результаты экспериментов позволяют оценить эффективность применения тезаурусных связей для классификации текстов на естественном языке и определить, при каких условиях те или иные связи имеют большую значимость. В частности, наиболее полезными тезаурусными связями оказались синонимические и иерархические, так как они обеспечивает лучшее качество классификации.Ключевые слова: тезаурус, семантические отношения, тезаурусные связи, тематическая классификация, классификация по тональности Для цитирования: Лагутина Н. С., Лагутина К. В., Щитов И. А., Парамонов И. В., "Анализ использования различных типов связей между терминами тезауруса, сгенерированного с помощью гибридных методов, в задачах классификации текстов", Моделирование и анализ информационных систем, 24:6 (2017), 772-787.Об авторах: Лагутина Надежда Станиславовна, orcid.org/0000-0002-6137-8643, канд. физ.-мат. наук, доцент, Ярославский государственный университет им. П.Г. Демидова,

show abstract

Topic Modelling with NMF vs. Expert Topic Annotation: The Case Study of Russian Fiction

Sherstinova

Mitrofanova

Skrebtsova

et al. 2020

Advances in Computational Intelligence

View full text Add to dashboard Cite

Combining Thesaurus Knowledge and Probabilistic Topic Models

Cited by 4 publications

References 15 publications

The problem of loss of solutions in the task of searching similar documents: Applying terminology in the construction of a corpus vector model

The problem of loss of solutions in the task of searching similar documents: Applying terminology in the construction of a corpus vector model

Analysis of Influence of Different Relations Types on the Quality of Thesaurus Application to Text Classification Problems

Topic Modelling with NMF vs. Expert Topic Annotation: The Case Study of Russian Fiction

Contact Info

Product

Resources

About