To the noun phrase recognition problem in application to automatic information extraction from Russian texts

Abstract

К вопросу об определении границ именных групп при решении задач автоматического извлечения информации из текстов на русском языке Аннотация. Рассматривается задача выделения сложных именных групп в русскоязычных публицистических текстах в приложении к задачам автоматического извлечения информации. Под сложными именными группами понимаются длинные именные группы, содержащие генитивные, предложные конструкции, а также имена собственные. Предлагается схема поиска границ именных групп, начиная с фрагмента текста, заведомо содержащего именную группу. Разработан алгоритм выделения таких фрагментов. Произведена их классификация на основании частоты встречаемости типов фрагментов, количества слов фрагмента, их частеречного состава, наличия уже выделенных именованных сущностей разных видов, информации о вхождении частей фрагментов в списки сложных предлогов и устойчивых сочетаний. Приводится первоначальная система признаков для построения алгоритма автоматического выделения именных групп в границах построенных на первом этапе анализа фрагментов. В экспериментальной части исследования произведено выделение фрагментов (58032 фрагмента) из коллекции текстов общественно-политической тематики (1000 документов), произведен анализ сложных случаев. Ключевые слова и фразы: автоматическое извлечение информации, выделение именованных сущностей, извлечение ситуаций, выделение именных групп, синтаксический анализ. Введение Задача автоматического извлечения информации заключается в отображении некоторых фрагментов текста на естественном языке в определенную структуру (модель), состоящую из объектов и связей между ними. В качестве примеров можно привести задачи извлечения именованных сущностей, терминов, ключевых слов, фактов, автоматическое составление пресс-портретов, авторефератов и др. Любая задача по извлечению информации предполагает: Работа выполнена при финансовой поддержке РФФИ, проект 15-07-05277_а.

Automatic noun phrases extraction using preliminary segmentation and CRF with semantic features

“…Эта обработка включает в себя токенизацию, морфологический анализ, а также выявление именованных сущностей нескольких классов [11][12][13]. После предварительной обработки с по-мощью системы правил производится разбиение предложений текста на фрагменты, разделенные «сильными» границами.…”

Complex time expressions recognition problem in application to automatic information extraction from Russian texts

“…(4 ) Именные группы с предлогом -безусловным указателем на вре-мя: в течение, во время, в продолжение, в ходе, в период, по истечении, на протяжении, накануне, спустя. (5 ) Именные группы, обозначающие указание на время, с предло-гом, не являющимся однозначным указателем на время, и с суще-ствительным, которое тоже не является однозначным временным указателем: после обеда, до праздника, за прогулку и т.п. Эти предлоги могут выражать и не временные отношения, ср.…”

“…Заметим при этом, что если не рассматривать вопрос о том, к чему относится временное выражение, то полнота и точность получаются хорошие [4,5,12].…”

“…Задача автоматического выявления временных выражений перио-дически становится объектом исследований специалистов по обработке текстов [1][2][3][4][5], а также обзор [6]. От качества решения этой задачи зависят многие другие -извлечение информации об отношениях и ситуациях, построение вопросно-ответных систем, автоматический анализ текстовых данных в медицине и многое другое.…”

“…Эта задача частично решается в некоторых практических приложениях. Выявление в тексте временных выражений (до интер-претации) подразумевает ответы на следующие вопросы: (1 ) четкое определение понятия временного выражения для обеспе-чения возможности разметки; (2 ) определение конечной цели извлечения временных выражений; (3 ) разработка алгоритма извлечения; (4 ) разметка корпуса текстов для обучения и проверки алгоритма извлечения; (5 ) оценка результатов работы алгоритма.…”