Measuring Difficulty of Introductory Programming Tasks

Uso de atributos de código para classificação da facilidade de questões de codificação

“…Para obter uma estimativa estável da facilidade/dificuldade de questões de programação são necessárias algumas centenas de tentativas [6]. Portanto, foi aplicado um filtro nas 653 questões, selecionando apenas aquelas com 20 ou mais tentativas de solução.…”

Classificação de dificuldade de questões de programação com base em métricas de código

“…Das questões disponíveis, 653 são em Python e foram aplicadas em exames presenciais. [Effenberger et al 2019] afirmam que a tarefa de estimar a dificuldade requer que uma quantidade suficiente de dados tenha sido coletado, e que a quantidade necessária pode variar dependendo da métrica adotada. Logo, das 653 questões foram selecionadas somente aquelas que foram resolvidas por 20 ou mais estudantes, a fim de reduzir o viés dos dados de uso da questão e obter métricas de dificuldade mais estáveis.…”

“…Na literatura, não há consenso quantoà definição de dificuldade de questões de programação. Segundo [Effenberger et al 2019] existem duas dimensões de dificuldade que estão disponíveis na maioria dos contextos são taxa de acerto e tempo médio de resolução do problema. Outra possível variável dependente elencada para este trabalho foi o número médio de submissões necessários para acertar dada questão.…”

“…Por fim, [Effenberger et al 2019] demonstram que para mensurar de forma estável a dificuldade encontrada em questões introdutórias de programação são necessárias mais de cem soluções corretas para cada questão, e devido ao pequeno conjunto de questões disponíveis foi necessário utilizar um limiar menor, com o intuito de não diminuir tanto a quantidade de questões disponíveis para análise.…”

“…Contudo, os resultados são limitados a uma amostra de apenas 10 questões, de uma classe de tamanho não explicitado, ensinada por umúnico instrutor. Já[Effenberger et al 2019] analisaram 04 conjuntos de questões de programação introdutória, sendo um deles semelhante ao contexto deste trabalho, programação Python, composto de 73 questões, resolvidas por 2.000 estudantes em 10.700 tentativas. Os autores distinguem dois conceitos: complexidade, que depende apenas do código da questão, podendo ser medida sem consultar dados de desempenho; e dificuldade, estimada com base no comportamento dos estudantes ao resolverem a questão.…”