A hybrid model of complexity estimation: Evidence from Russian legal texts

Abstract

This article proposes a hybrid model for the estimation of the complexity of legal documents in Russian. The model consists of two main modules: linguistic feature extractor and a transformer-based neural encoder. The set of linguistic metrics includes both non-specific metrics traditionally used to predict complexity, as well as style-specific metrics developed in order to deal with the peculiarities of official texts. The model was trained on a dataset constructed from text sequences from Russian textbooks. Training data were collected on either subjects related to the topic of legal documents such as Jurisprudence, Economics, Social Sciences, or subjects characterized by the use of general languages such as Literature, History, and Culturology. The final set of materials used contain 48 thousand selected text blocks having various subjects and level-of-complexity identifiers. We have tested the baseline fine-tuned BERT model, models trained on linguistic features, and models trained on features in combination with BERT predictions. The scores show that a hybrid approach to complexity estimation can provide high-quality results in terms of different metrics. The model has been tested on three sets of legal documents.

Keywords, morpheme parsing and syntactic trees: features for text complexity assessment

“…Упоминаемые в различных работах признаки чрезвычайно разнообразны. В исследованиях, посвящённых оценке сложности русскоязычных текстов, помимо традиционно используемых признаков, таких как средние длины слов и предложений, встречается использование оценок лексического разнообразия [4][5][6], морфологических [5][6][7][8][9], синтаксических [6,[8][9][10], лексических [6-9, 11, 12], семантических [9], тематических [6] признаков.…”

“…Для оценки лексической сложности текста обычно используют характеристики, связанные с частотностью слов [6,9,12,13]. При этом ряд исследований показал, что частотность, вычисленная на основании какого-либо корпуса, достаточно часто отличается от реальной распространённости и знакомости слов [11,13].…”

“…В этой ситуации способом оценить лексическую сложность текста целиком может стать вычисление различных особенностей морфемного разбора слов 1 . Так, в работе [9] используется информация о встречаемости различных ассоциированных со сложностью морфемных конструкций, а именно доли лемм вида *ция, *ние, *вие, *тие, *ист, *изм, *ура, *ище, *ство, *ость, *овка, *атор, *итор, *тель, *льный, *овать. Такой подход вычислительно проще полноценного анализа морфемных разборов, однако остаётся непонятным, насколько вычисленные таким образом признаки значимы.…”

“…В исследованиях, затрагивающих использование синтаксических признаков в рамках оценки сложности текста на русском языке [6,[8][9][10], набор задействованных признаков достаточно узок. Чаще всего авторы используют глубину синтаксического дерева, долю рёбер того или иного типа и расстояние между вершиной и её непосредственным предком, выбор используемых признаков при этом как правило интуитивен.…”

“…Однако в случае с оценкой сложности текста многие из исследований проводятся на корпусах, состоящих из небольших отрывков текста. Так, в работе [10] в том числе используются фрагменты по 200 предложений, в работе [6] по 70 предложений, в работе [9] -11 ± 7 предложений. При такой длине контекста, сравнимой с длиной аннотаций к научным статьям или газетных текстов 2 , генерируемые ключевые слова, вероятно, могут быть использованы в качестве признаков тематического моделирования при оценке сложности текста и сравнены с ранее исследованным LDA.…”