Automated Essay Scoring: An approach based on ENEM competencies

Abstract

Este trabalho apresenta estratégias para Avaliação Automática de Redações (AAR) escritas em português por meio de uma abordagem baseada na definição de features e modelos de AAR específicos para cada competência da matriz de referência do ENEM. Foram investigados métodos baseados em engenharia de features, embeddings e Redes Neurais Recorrentes. Apesar dos resultados obtidos serem melhores do que trabalhos relacionados, novos estudos devem ser conduzidos a fim de melhorar o desempenho dos modelos de AAR para a língua portuguesa.

Classificação ou Regressão? Avaliando Coesão Textual em Redações no contexto do ENEM

“…No contexto da prova de redac ¸ão do ENEM, os pesquisadores têm explorado diversas abordagens para a avaliac ¸ão automática das competências consideradas no exame, utilizando as rubricas de correc ¸ão predefinidas. Em um estudo conduzido por [Marinho et al 2022b], foi apresentada uma pesquisa abrangendo diferentes estratégias e algoritmos de regressão para cada uma das cinco competências avaliadas no ENEM utilizando a base de dados do Essay-BR estendido [Marinho et al 2022a]. Para cada competência, foram investigadas três abordagens: uma baseada em características, a utilizac ¸ão de representac ¸ões multidimensionais (embeddings) das redac ¸ões em conjunto com algoritmos tradicionais de AM, e o uso de redes neurais recorrentes.…”

“…O corpus Essay-BR [Marinho et al 2021] tem sido utilizado em diversos trabalhos para avaliac ¸ão automática de redac ¸ões no contexto do ENEM [Marinho et al 2022b, Oliveira et al 2022, Oliveira et al 2023]. Recentemente, foi apresentada uma nova versão desse corpus, chamado de Essay-BR estendido [Marinho et al 2022a], com a inclusão de novas redac ¸ões.…”

“…Para responder à Pergunta de Pesquisa 1 (PP1), seguimos uma análise semelhante à apresentada em [Johan Berggren et al 2019] e investigamos a utilizac ¸ão de algoritmos de classificac ¸ão e regressão. Como os valores estimados pelos algoritmos de regressão são contínuos, aplicamos a estratégia de conversão proposta em [Marinho et al 2022b] para mapear os valores preditos com as notas do ENEM (0,40,80,120,160 e 200).…”

“…As seguintes medidas de avaliac ¸ão foram utilizadas: coeficiente linear de Kappa [Cohen 1960], a raiz quadrada do erro médio, do inglês Root Mean Squared Error (RMSE), e o coeficiente de correlac ¸ão de Pearson. Essas medidas foram escolhidas por serem amplamente utilizadas na literatura para avaliar sistemas de avaliac ¸ão automática de redac ¸ões [Lima et al 2018, Oliveira et al 2022, Marinho et al 2022b, Oliveira et al 2023]. Embora o coeficiente de Kappa seja mais utilizado em trabalhos de classificac ¸ão, ele foi usado aqui para regressão porque os valores estimados pelos regressores são mapeados para as notas do ENEM.…”

“…Embora estudos anteriores tenham abordado o desenvolvimento de modelos para a avaliac ¸ão automática de redac ¸ões com base nas competências do ENEM [Marinho et al 2022b, Oliveira et al 2022, Oliveira et al 2023, ainda não foi criada uma ferramenta amplamente utilizada que seja capaz de avaliar automaticamente as diferentes competências consideradas na prova [ de Lima et al 2023]. Este trabalho busca contribuir nesse contexto, tendo como foco a competência 4 do ENEM, que é relacionada à coesão textual da redac ¸ão e é considerada uma das mais desafiadoras para os candidatos [Klein andFontanive 2009, Lima et al 2018].…”