ILSA: an automated language complexity analysis tool for French

Abstract

Estimating language complexity is an important aspect of educational measurement and assessment that can be used, for instance, to control for unwanted variance due to language, or to provide students with texts that are conducive to learning. Automatic language processing techniques can be used to extract various linguistic features that reflect the complexity of vocabulary and sentence structure. In this paper, we present a new tool called ILSA (Integrated Lexico-Syntactic Analyzer), which we developed for research and educational applications. We summarize how the tool works and present the types of attributes it can extract. We then apply ILSA to 600 texts used in Quebec elementary and secondary schools and analyze the correlations between the attributes and the school grade associated with the text. The results show the potential of ILSA for modeling the complexity of French texts. Mots clés : analyse de corpus, traitement automatique du langage naturel, lisibilité, psycholinguistique, français Estimer la complexité linguistique est un aspect important de la mesure et de l'évaluation de l'éducation qui peut servir, par exemple, à contrôler la variance indésirable attribuable à la langue ou à fournir aux élèves des textes propices à l'apprentissage. Des techniques de traitement automatique des langues permettent d'extraire différents attributs (features) qui reflètent la complexité du vocabulaire et de la structure des phrases. Dans cet article, nous présentons un nouvel outil appelé ALSI (Analyseur Lexico-Syntaxique Intégré). Nous résumons le fonctionnement de l'outil et présentons les types d'attributs qu'il peut extraire. Nous appliquons ensuite ALSI à 600 textes utilisés dans les écoles primaires et secondaires du Québec et analysons les corrélations entre les attributs et le niveau scolaire associé au texte. Les résultats montrent le potentiel d'ALSI pour la modélisation de la complexité des textes français.1. The token is the smallest linguistic unit extracted by the analyzer; for simplicity, we use the term "word" in the rest of our paper.