АннотацияСтатья посвящена взаимосвязанным проблемам выделения единиц знаний из множества (корпуса) тематических текстов и отбора текстов в корпус анализом релевантности исход-ной фразе. Данные проблемы актуальны для построения систем обработки, анализа, оцени-вания и понимания информации. Конечной практической целью является поиск наиболее рационального варианта передачи смысла средствами заданного естественного языка для последующей фиксации фрагментов знаний в тезаурусе и онтологии предметной области. При этом релевантность текста по описываемому фрагменту знания (включая формы выра-жения в языке) определяется суммарной численной оценкой силы связи встречающихся в его фразах сочетаний слов исходной фразы. В настоящей работе рассматриваются извест-ные варианты такой оценки и особенности их использования для выделения составляющих образа исходной фразы в виде слов и их сочетаний в текстах при формировании тематиче-ского текстового корпуса. По сравнению с поиском совокупностей указанных составляю-щих на синтаксически размеченном текстовом корпусе, предложенный в работе метод от-бора текстов позволяет в среднем в 15 раз сократить выход фраз, не релевантных исходной ни по описываемому фрагменту знания, ни по языковым формам его выражения.Ключевые слова: распознавание образов, интеллектуальный анализ данных, теория ин-формации, тест открытой формы, языковое представление экспертных знаний, контекстно-зависимое аннотирование, поисковое ранжирование документов.
ВведениеЭффективность методов и алгоритмов распозна-вания образов и интеллектуального анализа данных во многом определяется спецификой решаемой зада-чи [1]. Немаловажную роль при этом играет разра-ботка способов и средств описания самих задач. Как было отмечено в [2], естественным источником зна-ний при описании задач будут публикации отечест-венных и зарубежных научных школ по соответст-вующей проблематике. Актуальная проблема при этом -поиск наиболее рационального варианта пере-дачи смысла в единице знаний, определяемой множе-ством семантически эквивалентных (СЭ) фраз пред-метно-ограниченного естественного языка (ЕЯ). При-чём помимо отбора фраз из готового текстового кор-пуса, важнейшей составляющей здесь является фор-мирование самого корпуса с включением в него пуб-ликаций, максимально релевантных рассматривае-мым экспертом ситуациям действительности и язы-ковым формам их описания. Такая задача возникает, в частности, при построении учебных курсов с ис-пользованием открытых тестов. При этом:• отбор текстов в корпус, как правило, субъективен;• выбор критерия отбора текстов -задача нетриви-альная. Здесь учитывается и уровень сложности текста, и его значимость в решаемой задаче (на-пример, с точки зрения тематической рубрикации [3] для составления теста по тем или иным фраг-ментам экспертного знания); • значимость текста в решаемой задаче может опре-делять выбор меры его близости исходной фразе.Следует отметить, однако, что значимость текста здесь, как правило, безотносительна к образу, пред-ставляемому исходной фразой и выделяемому в ана-лизируемых текстах. С...
