An Empirical Study of Iterative Improvement in Programming Assignments

Abstract

As automated tools for grading programming assignments become more widely used, it is imperative that we better understand how students are utilizing them. Other researchers have provided helpful data on the role automated assessment tools (AATs) have played in the classroom. In order to investigate improved practices in using AATs for student learning, we sought to better understand how students iteratively modify their programs toward a solution by analyzing more than 45,000 student submissions over 7 semesters in an introductory (CS1) programming course. The resulting metrics allowed us to study what steps students took toward solutions for programming assignments. This paper considers the incremental changes students make and the correlating score between sequential submissions, measured by metrics including source lines of code, cyclomatic (McCabe) complexity, state space, and the 6 Halstead measures of complexity of the program. We demonstrate the value of throttling and show that generating software metrics for analysis can serve to help instructors better guide student learning.

Juiz Online no ensino de Programação Introdutória - Uma Revisao Sistemática da Literatura

“…A Tabela 8 mostra a [Llana et al 2012] X Jutge.org [Petit et al 2012] X YOJ [Sun et al 2014] X Athene [Pettit et al 2015a] X *Experiência UL-FCIS [Pozenel et al 2015] X X X ViLLE [Rajala et al 2016] ProgTest [Souza et al 2015] X Test My Code [Vihavainen et al 2013] X distribuição de trabalhos quanto a esses conjuntos. Georgouli and Guerreiro 2010], [Wang et al 2011], [AlShamsi and Elnagar 2011], [Llana et al 2012] [Petit et al 2012], [Sun et al 2014], [Pettit et al 2015a], [Pozenel et al 2015] [Rajala et al 2016], [Souza et al 2015], [Vihavainen et al 2013] 11 C2 -Integração do Sistema com os Cursos [Wang et al 2011], [Llana et al 2012], [Petit et al 2012], [Sun et al 2014] [Pozenel et al 2015], [Rajala et al 2016], [Souza et al 2015], [Vihavainen et al 2013] 8 C3 -Análise do Desempenho Geral dos Alunos [Petit et al 2012], [AlShamsi and Elnagar 2011], [Vihavainen et al 2013] 3…”

“…Normalmente o Feedbacké o resultado de testes feitos pelo Juiz Online com o programa submetido pelo aluno [Wang et al 2011, Llana et al 2012, Petit et al 2012, Sun et al 2014, Pozenel et al 2015, Rajala et al 2016. Entretanto, ele pode incluir pontuação parcial [Pettit et al 2015a, Vihavainen et al 2013, contribuição do professor [Georgouli and Guerreiro 2010, Sun et al 2014, Vihavainen et al 2013] ou de outros alunos [Sun et al 2014]. Também pode ser escondido quando o sistemaé usado em exames [Rajala et al 2016].…”

“…Fica claro pelos artigos que existe um esforço em melhorar o tratamento de erros a partir do feedback, oferecendo uma melhor descrição dos erros de compilação e execução e da saída do programa [Rajala et al 2016], oferecendo detalhes dos casos de teste que produziram erro [Pettit et al 2015a], considerando aspectos de sintaxe [Wang et al 2011] ou estruturais que se relacionam com a semântica [Wang et al 2011, AlShamsi andElnagar 2011], e identificando a evolução do estilo de codificação [Pettit et al 2015a]. [Souza et al 2015] propõe avaliar o programa do aluno com os casos de teste do professor e o programa escrito pelo professor com casos de teste do aluno, além de permitir ao professor a inclusão de dicas textuais.…”

“…[Llana et al 2012] X X Jutge.org [Petit et al 2012] X X X YOJ [Sun et al 2014] X X X Athene [Pettit et al 2015a] X *Experiência UL-FCIS [Pozenel et al 2015] X X X ViLLE [Rajala et al 2016] X X X ProgTest [Souza et al 2015] X X X Test My Code [Vihavainen et al 2013] X X X X QP4: Quais requisitos não-funcionais um Juiz Online precisa atender para ser usado no ensino de CS1?…”

Mapeamento Automático de Perfis de Estudantes em Métricas de Software para Análise de Aprendizagem de Programação

“…Essas métricas podem ser utilizadas, conforme [Pettit et al 2015], como instrumentos de análise dos processos de programação a partir de códigos-fontes para auxiliar professores na avaliação de seus alunos.…”