A-Learn EvId: A Method for Identifying Evidence of Computer Programming Skills Through Automatic Source Code Assessment

Abstract

Contextualized in the teaching of computer programming in Computing courses, this research investigates aspects and strategies for automatic source code assessment. Continuous on-time assessment of source codes produced by students is a challenging task for teachers. The literature presents different methods for automatic assessment of source code, mostly focusing on technical aspects, such as functional correctness assessment and error detection. This paper presents the A-Learn EvId method, having as the main characteristic its focus on the assessment of high-level skills instead of technical aspects. Automatically assessing high-level skills gives insights into the thought process students used to elaborate their responses, contributing to quality and timely feedback generation. The method is characterized by three fundamental steps: (1) inserting students' source code as input data; (2) identifying evidence of skills through automatic strategies; and (3) representing identified skills through a student model. The following contributions are highlighted: updating the state of the art on the topic; a set of 37 skills identifiable through 9 automatic source code assessment strategies; construction of datasets totaling 8651 source codes.

Juízes Online são suficientes ou precisamos de um VAR?

“…Diversos autores, tais como [5,9,12,27,28], apontam que a avaliação de códigos em disciplinas de programação exige muito tempo, dedicação e é uma ação sujeita à erros por parte do avaliador.…”

“…Dessa forma, muitas pesquisas, tais como [1,13,16,23,24], têm sido desenvolvidas com o intuito de propor métodos, abordagens ou ferramentas para facilitar o acompanhamento das atividades em disciplinas de programação. Conforme afirmam Porfirio, Pereira e Maschio [12] onde descrevem que a pesquisa e desenvolvimento de ferramentas de apoio para o ensino de programação é um tópico bastante difundido. O mapeamento sistemático apresentado em [4] corrobora com a afirmação anterior.…”

“…Como citado anteriormente muitas pesquisas sobre avaliação já foram conduzidas. Contudo, os resultados apontados em mapeamentos e levantamentos anteriores [4,12,28], indicam que o foco da avaliação automática é em aspectos de corretude em relação às saídas esperadas. Por outro lado a grande quantidade de trabalhos relacionados ao tema de ensino de programação demonstra a preocupação da comunidade na busca de soluções de avaliação.…”

“…A principal estratégia identificada na literatura como meio para facilitar e agilizar a avaliação de códigos é o uso de juízes on-line [4,12,28]. Entre os aspectos analisados em [12] aqueles suportados por juízes on-line representam 66,67% dos trabalhos observados, sendo 42,31% sobre Corretude Funcional, 10,90% sobre erros de compilação, 7,79% erros sintáticos e 5,77% tratam de erros de execução.…”

When Test Cases Are Not Enough: Identification, Assessment, and Rationale of Misconceptions in Correct Code (MC³)

“…WebTA can identify pre-existing misconceptions from the literature (approximately 200), and it also allows instructors to create new coding behavior rules to detect specific anomalous code expected for an assignment. RBIE v.31 -2023 The A-Learn Evid, developed by Porfirio et al (2021), is an automatic method for identifying students' programming skills. The authors aimed to automate the assessment of these skills, going beyond functionality, in order to allow instructors to provide timely and formative feedback to students.…”