Extraction the knowledge and relevant linguistic means with efficiency estimation for formation of subject-oriented text sets

Abstract

АннотацияСтатья посвящена взаимосвязанным проблемам выделения единиц знаний из множества (корпуса) тематических текстов и отбора текстов в корпус анализом релевантности исход-ной фразе. Данные проблемы актуальны для построения систем обработки, анализа, оцени-вания и понимания информации. Конечной практической целью является поиск наиболее рационального варианта передачи смысла средствами заданного естественного языка для последующей фиксации фрагментов знаний в тезаурусе и онтологии предметной области. При этом релевантность текста по описываемому фрагменту знания (включая формы выра-жения в языке) определяется суммарной численной оценкой силы связи встречающихся в его фразах сочетаний слов исходной фразы. В настоящей работе рассматриваются извест-ные варианты такой оценки и особенности их использования для выделения составляющих образа исходной фразы в виде слов и их сочетаний в текстах при формировании тематиче-ского текстового корпуса. По сравнению с поиском совокупностей указанных составляю-щих на синтаксически размеченном текстовом корпусе, предложенный в работе метод от-бора текстов позволяет в среднем в 15 раз сократить выход фраз, не релевантных исходной ни по описываемому фрагменту знания, ни по языковым формам его выражения.Ключевые слова: распознавание образов, интеллектуальный анализ данных, теория ин-формации, тест открытой формы, языковое представление экспертных знаний, контекстно-зависимое аннотирование, поисковое ранжирование документов. ВведениеЭффективность методов и алгоритмов распозна-вания образов и интеллектуального анализа данных во многом определяется спецификой решаемой зада-чи [1]. Немаловажную роль при этом играет разра-ботка способов и средств описания самих задач. Как было отмечено в [2], естественным источником зна-ний при описании задач будут публикации отечест-венных и зарубежных научных школ по соответст-вующей проблематике. Актуальная проблема при этом -поиск наиболее рационального варианта пере-дачи смысла в единице знаний, определяемой множе-ством семантически эквивалентных (СЭ) фраз пред-метно-ограниченного естественного языка (ЕЯ). При-чём помимо отбора фраз из готового текстового кор-пуса, важнейшей составляющей здесь является фор-мирование самого корпуса с включением в него пуб-ликаций, максимально релевантных рассматривае-мым экспертом ситуациям действительности и язы-ковым формам их описания. Такая задача возникает, в частности, при построении учебных курсов с ис-пользованием открытых тестов. При этом:• отбор текстов в корпус, как правило, субъективен;• выбор критерия отбора текстов -задача нетриви-альная. Здесь учитывается и уровень сложности текста, и его значимость в решаемой задаче (на-пример, с точки зрения тематической рубрикации [3] для составления теста по тем или иным фраг-ментам экспертного знания); • значимость текста в решаемой задаче может опре-делять выбор меры его близости исходной фразе.Следует отметить, однако, что значимость текста здесь, как правило, безотносительна к образу, пред-ставляемому исходной фразой и выделяемому в ана-лизируемых текстах. С...

Industrial application of big data services in digital economy

“…A model of interaction of subjects (subjects) in a single information space, which can be implemented using multi-agent software, can be proposed. The ideas of indirect and conditional project management, creating a soft influence on highly motivated autonomous actors, are successfully implemented in online communities and social networks [10][11][12][13][14].…”

Research and analysis of messages of users of social networks using BigData technology

“…• Twitter is not a specialized network, which means it reflects the public opinion of a wider range of users [9]. The data collection from the Twitter social network can be carried out using the software products Apache Ambari and Flume, this method is described in more detail in [10]. However, it is often more convenient to develop a dedicated software product using standard libraries (twitter4j, tweepy, etc.)…”

Determining the proximity of groups in social networks based on text analysis using big data

“…Weight was assigned to each word in the word index, thus each group took the form of a vector of attributes (words) with own weights. In this paper, it was decided to use the word frequency count as the weight [10,11]. Such an approach for calculating the weights of words in word indexes using traditional methods and technologies requires huge computational resources and takes a long time when the volume and the number of analyzed word indexes increases, so it was decided to use BigData technology and computational clusters for this purpose [12].…”