Off-Topic Essay Detection: A comparative study on the Portuguese language

Abstract

Advances in automated essay grading over the last sixty years enabled its application in real scenarios, such as classrooms and high-stakes testing. The recognition of off-topic essays is one of the tasks addressed in automated essay grading. An essay is regarded as off-topic when the student does not develop the expected prompt-related concepts, sometimes purposely. Off-topic essays may receive a zero score in high-stake tests. An off-topic essay detection mechanism may be used in parallel or embedded in an automated essay grading system to improve its performance. In this context, the main goal of this study is to evaluate the existing approaches for automated off-topic essay detection. A previous systematic review of the literature showed some deficiencies in the state of the art, including: the low accuracy of current approaches, the use of artificial validation sets, and the lack of studies focused on the Portuguese language. In this study, the approaches found in the literature, originally proposed for the English language, were adapted for the Portuguese language and compared in an experiment using a public corpus of 2164 essays related to 111 prompts. The experiment used a set of artificial off-topic examples and the best performing algorithm achieved higher accuracy than that found in the literature for the English language (96.76% vs. 94.75%). The results presented suggest the application of off-topic essay detection mechanisms in the Brazilian educational context in order to benefit the student, with computer generated feedback, and educational institutions, regarding automated essay grading. Some suggestions for future research are presented, including the need to address the task of off-topic essay detection as a multiclass problem, and to reproduce the experiment with a larger and more representative set of real off-topic essay examples.

Estimando Coesão Textual em Redações no Contexto do ENEM Utilizando Modelos de Aprendizado de Máquina

“…No contexto das provas no estilo do ENEM, existem trabalhos que buscam estimar a nota geral obtida pela redac ¸ão [Filho et al 2019, Costa et al 2020, Filho. et al 2021] ou aqueles que focam em competências específicas [Lima et al 2018, Passero et al 2019.…”

“…Alguns trabalhos focam em aspectos específicos que são comumente avaliados em exames de redac ¸ão. Por exemplo, o trabalho desenvolvido em [Passero et al 2019] apresenta um estudo comparativo de diversas abordagens para identificac ¸ão de fuga ao tema (Competência 2 do ENEM) em redac ¸ões. As abordagens identificadas na literatura, originalmente propostas para língua inglesa, foram adaptadas para a língua portuguesa e o problema foi modelado como uma tarefa de classificac ¸ão binária.…”

Análise automatizada de coesão em redações do ensino fundamental por meio de técnicas de processamento de linguagem natural

“…No Brasil, apesar da relevância das habilidades de escrita, muitas escolas da educac ¸ão básica não têm conseguido estimular adequadamente essa capacidade, como visto nos resultados de avaliac ¸ões em larga escala realizadas nos últimos anos [Passero et al 2019]. Nessa perspectiva, o Ministério da Educac ¸ão (MEC) publicou o decreto nº 11.079 1 , que institui a Política Nacional para Recuperac ¸ão das Aprendizagens na Educac ¸ão Básica, visando implementar estratégias, programas e ac ¸ões para a recuperac ¸ão das aprendizagens e o enfrentamento da evasão e do abandono escolar.…”

Agrupamento automático de mensagens em fóruns educacionais

“…Uma vez que estamos tratando particularmente dos fóruns nos AVAs que, basicamente, são compostos por conversas entre alunos e professores, a utilização do PLN pode ser bastante benéfica para extração de informação relevante. O PLN é a área responsável pela manipulação de textos ou falas [Chowdhury 2003], utilizando diferentes algoritmos para analise semântica e sintática, em que a maioria das aplicações nas plataformas educacionais são relacionadas a avaliação automática de redações e perguntas discursivas [Ferreira Mello et al 2022, Passero et al 2019.…”