Abstract.In this paper semantic analysis techniques for automatic short answer grading are described and evaluated. Methods based on corpus (LSA) and knowledge (WordNet) IntroduçãoO uso de questões discursivas no processo de ensino e aprendizagem permite avaliar processos cognitivos mais elevados em comparação às questões objetivas, além de estimular as habilidades de comunicação e expressão do aluno [Burrows et al. 2015]. A correção de questões discursivas pelo professor não é uma tarefa trivial e, em turmas grandes, pode se tornar inviável. É comum que os alunos tenham que esperar dias ou mesmo semanas para receber os resultados.Neste trabalho são comparadas duas abordagens de análise de similaridade textual para a avaliação automática de questões discursivas: (i) a análise semântica latente (LSA), uma abordagem baseada em corpus que tem apresentado resultados promissores na avaliação de questões discursivas Na Seção 2 são apresentadas as técnicas de análise semântica utilizadas neste trabalho. A Seção 3 descreve o método empregado para coleta, processamento e análise do corpus da pesquisa e dos resultados. A Seção 4 apresenta trabalhos similares encontrados na literatura. Na Seção 5 são apresentados e discutidos os resultados obtidos. Por fim, são apresentadas as conclusões da pesquisa na Seção 6.

No abstract

Advances in automated essay grading over the last sixty years enabled its application in real scenarios, such as classrooms and high-stakes testing. The recognition of off-topic essays is one of the tasks addressed in automated essay grading. An essay is regarded as off-topic when the student does not develop the expected prompt-related concepts, sometimes purposely. Off-topic essays may receive a zero score in high-stake tests. An off-topic essay detection mechanism may be used in parallel or embedded in an automated essay grading system to improve its performance. In this context, the main goal of this study is to evaluate the existing approaches for automated off-topic essay detection. A previous systematic review of the literature showed some deficiencies in the state of the art, including: the low accuracy of current approaches, the use of artificial validation sets, and the lack of studies focused on the Portuguese language. In this study, the approaches found in the literature, originally proposed for the English language, were adapted for the Portuguese language and compared in an experiment using a public corpus of 2164 essays related to 111 prompts. The experiment used a set of artificial off-topic examples and the best performing algorithm achieved higher accuracy than that found in the literature for the English language (96.76% vs. 94.75%). The results presented suggest the application of off-topic essay detection mechanisms in the Brazilian educational context in order to benefit the student, with computer generated feedback, and educational institutions, regarding automated essay grading. Some suggestions for future research are presented, including the need to address the task of off-topic essay detection as a multiclass problem, and to reproduce the experiment with a larger and more representative set of real off-topic essay examples.

Abstract. Essays are widely used for learning assessment in the educational

Abstract. The educational forum is one of the tools present in Virtual Learning Environments (VLEs) IntroduçãoCom o crescente uso da tecnologia como ferramenta de apoio educacional, o uso de Ambientes Virtuais de Aprendizagem (AVAs) tem aumentado nos últimos anos [Nunes et al. 2012]. Estes ambientes disponibilizam várias ferramentas para melhorar a interação entre professores e alunos, alguns exemplos são: fórum, blog, wiki, entre outras. Estas ferramentas possuem um grande potencial para gerar conteúdo, o que pode ser usado para auxiliar nos processos de ensino e aprendizagem. Porém, devido a grande quantidade de interações entre os alunos e o professor, torna-se difícil para o professor avaliar e acompanhar todo o material que é disponibilizado pelos alunos [Akyuz e Kurt 2010].O fórum é uma ferramenta que se destaca em relação à geração de conteúdo. Segundo o estudo promovido por Barros e Carvalho (2011), o fórum foi apontado por 69,2% dos alunos como a ferramenta mais interativa, outras ferramentas que também tem essa característica são: tarefa (41,0%), chat (38,5%) e questionário (20,5%). Esta ferramenta tem uma característica importante, é nela que os alunos postam dúvidas,