Essay-BR: a Brazilian Corpus to Automatic Essay Scoring Task

Abstract

Automatic Essay Scoring (AES) is the computer technology that evaluates and scores the written essays, aiming to provide computational models to grade essays automatically or with minimal human involvement. While there are several AES studies in a variety of languages, few of them are focused on the Portuguese language. The main reason is the lack of a corpus with manually graded essays. In order to bridge this gap, in this paper we extended a corpus of essays written by Brazilian high school students in an online platform. All of the essays are argumentative and were scored across five competences by experts. Moreover, we conducted an experiment with the extended corpus to show some challenges posed by the Portuguese language. The corpus are publicly available at https://github.com/lplnufpi/essay-br.

Classificação ou Regressão? Avaliando Coesão Textual em Redações no contexto do ENEM

“…No contexto da prova de redac ¸ão do ENEM, os pesquisadores têm explorado diversas abordagens para a avaliac ¸ão automática das competências consideradas no exame, utilizando as rubricas de correc ¸ão predefinidas. Em um estudo conduzido por [Marinho et al 2022b], foi apresentada uma pesquisa abrangendo diferentes estratégias e algoritmos de regressão para cada uma das cinco competências avaliadas no ENEM utilizando a base de dados do Essay-BR estendido [Marinho et al 2022a]. Para cada competência, foram investigadas três abordagens: uma baseada em características, a utilizac ¸ão de representac ¸ões multidimensionais (embeddings) das redac ¸ões em conjunto com algoritmos tradicionais de AM, e o uso de redes neurais recorrentes.…”

“…O corpus Essay-BR [Marinho et al 2021] tem sido utilizado em diversos trabalhos para avaliac ¸ão automática de redac ¸ões no contexto do ENEM [Marinho et al 2022b, Oliveira et al 2022, Oliveira et al 2023]. Recentemente, foi apresentada uma nova versão desse corpus, chamado de Essay-BR estendido [Marinho et al 2022a], com a inclusão de novas redac ¸ões. O corpus Essay-BR estendido é composto originalmente de 6.579 redac ¸ões dissertativas-argumentativas escritas seguindo o formato das redac ¸ões presentes no ENEM.…”

“…O processo de coleta das redac ¸ões foi realizado entre o período de dezembro de 2015 até agosto de 2021, utilizando um sistema para extrair as redac ¸ões dos portais públicos do Vestibular UOL (Brasil Escola 2 ) e Educac ¸ão UOL 3 . Cada redac ¸ão foi avaliada manualmente por examinadores profissionais, recebendo uma nota geral e notas individuais para as cinco competências, seguindo os mesmos critérios da prova de redac ¸ão do ENEM [Marinho et al 2022a]. As notas individuais das competências variam entre 0 e 200, em intervalos de 40 pontos.…”

“…Para responder às questões de pesquisa anteriores, foram realizados experimentos utilizando a base de dados do Essay-BR estendido [Marinho et al 2022a], composta por 6.563 redac ¸ões, juntamente com suas respectivas notas, seguindo os mesmos critérios de avaliac ¸ão utilizados no ENEM. Os experimentos envolveram a avaliac ¸ão de diferentes algoritmos de classificac ¸ão e regressão, utilizando as medidas de desempenho do coeficiente linear de Kappa, a raiz quadrada do erro médio e o coeficiente de correlac ¸ão de Pearson.…”

Automated Essay Scoring: An approach based on ENEM competencies

“…Investigaram-se métodos baseados em engenharia de features [Sarkar 2019], embeddings [Le and Mikolov 2014] e rede neurais recorrentes (do inglês, Recurrent Neural Network -RNN) do tipo Long Short-Term Memory (LSTM) [Hochreiter and Schmidhuber 1997] para implementar cinco modelos de AAR independentes e capazes de predizer as notas das competências da redac ¸ão do ENEM. Esses modelos foram avaliados em um corpus publicamente disponível [Marinho et al 2022], alcanc ¸ando resultados superiores aos trabalhos relacionados.…”