Estimando Coesão Textual em Redações no Contexto do ENEM Utilizando Modelos de Aprendizado de Máquina

Abstract

Coesão textual é uma propriedade fundamental da escrita formal, pois tem relação com a conexão harmoniosa dos elementos de um texto. Apesar de diversos trabalhos analisarem automaticamente a coesão textual em redações, ainda são escassos trabalhos para o português. Este trabalho investiga modelos de regressão para estimar a coesão textual de redações escritas em português no contexto do ENEM, adotando um conjunto de 151 características identificadas na literatura. Experimentos usando a base de dados do Essay-BR, composta por 4.570 redações no estilo do ENEM, demonstram que o modelo de Extremely Randomized Trees apresentou os melhores resultados com uma correlação de Pearson (53,08%) moderada com as notas relacionadas à coesão.

Classificação ou Regressão? Avaliando Coesão Textual em Redações no contexto do ENEM

“…No trabalho apresentado em [Oliveira et al 2022], foi realizada uma investigac ¸ão utilizando 151 atributos que englobam aspectos como o uso de conectivos, diversidade lexical, legibilidade, similaridade entre frases adjacentes, bem como várias características extraídas da ferramenta Coh-Metrix [Camelo et al 2020]. Os autores realizaram uma comparac ¸ão entre diversos algoritmos de regressão para estimar a nota da competência 4, utilizando a base de dados Essay-BR [Marinho et al 2021].…”

“…O corpus Essay-BR [Marinho et al 2021] tem sido utilizado em diversos trabalhos para avaliac ¸ão automática de redac ¸ões no contexto do ENEM [Marinho et al 2022b, Oliveira et al 2022, Oliveira et al 2023]. Recentemente, foi apresentada uma nova versão desse corpus, chamado de Essay-BR estendido [Marinho et al 2022a], com a inclusão de novas redac ¸ões.…”

“…As seguintes medidas de avaliac ¸ão foram utilizadas: coeficiente linear de Kappa [Cohen 1960], a raiz quadrada do erro médio, do inglês Root Mean Squared Error (RMSE), e o coeficiente de correlac ¸ão de Pearson. Essas medidas foram escolhidas por serem amplamente utilizadas na literatura para avaliar sistemas de avaliac ¸ão automática de redac ¸ões [Lima et al 2018, Oliveira et al 2022, Marinho et al 2022b, Oliveira et al 2023]. Embora o coeficiente de Kappa seja mais utilizado em trabalhos de classificac ¸ão, ele foi usado aqui para regressão porque os valores estimados pelos regressores são mapeados para as notas do ENEM.…”

“…Embora estudos anteriores tenham abordado o desenvolvimento de modelos para a avaliac ¸ão automática de redac ¸ões com base nas competências do ENEM [Marinho et al 2022b, Oliveira et al 2022, Oliveira et al 2023, ainda não foi criada uma ferramenta amplamente utilizada que seja capaz de avaliar automaticamente as diferentes competências consideradas na prova [ de Lima et al 2023]. Este trabalho busca contribuir nesse contexto, tendo como foco a competência 4 do ENEM, que é relacionada à coesão textual da redac ¸ão e é considerada uma das mais desafiadoras para os candidatos [Klein andFontanive 2009, Lima et al 2018].…”

Automated Thematic Coherence Scoring of Student Essays Written in Portuguese

“…For instance, Júnior et al [Júnior et al 2017] evaluated a feature-based approach to determine scores for analyzing lexical and syntactic errors, achieving 93% precision. Oliveira et al [Oliveira et al 2022, Oliveira et al 2023] researched feature-based models for automatically scoring essays written in Portuguese, focusing on analyzing cohesion. In the first study, the authors trained models on an argumentative dataset to estimate TC, achieving a moderate Pearson correlation of 0.53 and a Mean Absolute Error (MAE) of 26.97 (on a scale of 0 to 200) [Oliveira et al 2022].…”