Towards a Human-AI Hybrid System for Categorising Programming Problems

Abstract

As programming skills are increasingly required world-wide and across disciplines, many students use online platforms that provide automatic feedback through a Programming Online Judge (POJ) mechanism. POJs are very popular e-learning tools, boasting large collections of programming problems. Despite their many benefits, students often struggle when solving problems not compatible with their prior knowledge. One important cause of this is that usually statements of problems are not classified according to programming topics (paradigms, data structures, etc.) and, hence, students waste time and effort in trying to solve exercises that are not tailored to their level and needs. Thus, to support students, we propose a new, "front-heavy" pipeline method to predict topics of POJ problems, using Bidirectional Encoder Representations from Transformers (BERT) for contextual text augmentation over the problem statements and further allowing for (lighter-weight) classical machine learning for classification. Our model outperformed all current state-of-the art, with an F1-score of ≈ 86% using stratified 10 fold cross-validation in a classically challenging multi-classification problem with seven categories. As a proof of concept, we conducted an experiment to show how our predictive model can be used as a human-AI hybrid complement for POJ, where learners would use AI-based recommendations to find the most appropriate problems.

Towards Supporting Cs1 Instructors and Learners With Fine-Grained Topic Detection in Online Judges

“…To illustrate, administrators can use such methods to automate the annotation process, even considering the error component -as these methods are based on Machine Learning (ML) techniques, which are not 100% accurate. Students can use the automatically annotated topics to find desirable problems in generic categories, which is far better than navigating multiple volumes [54,56,45].…”

Mapeamento e análise empírica de misconceptions comuns em avaliações de introdução à programação

“…Existe uma demanda crescente por profissionais de computação para impulsionar a inovação e o progresso econômico [17,33]. Esforços para melhorar o ensino de programação estão em andamento [8,11,14,16,19,20,25,26,28,29,32,39,43], e professores da área são desafiados em cursos introdutórios de programação a ajudar os alunos a desenvolverem o pensamento computacional e a habilidade de resolver problemas por meio de soluções algorítmicas [14,19,21,27,31,35,41,43]. Identificar e abordar os equívocos de compreensão dos alunos é uma parte fundamental da competência de um professor de programação [1,7,[14][15][16]42].…”

“…Embora nomes diferentes sejam usados para representar as dificuldades dos alunos em aprender a programar, há um consenso geral de que é importante ajudar os alunos a desenvolver sua compreensão conceitual e superar desafios [4,14,15,23,27,28,30,35]. Para isso, é vital para o ensino das disciplinas introdutórias de programação saber quais são os misconceptions comuns [1,[14][15][16] para dar suporte aos professores, já que com essa informação os docentes podem adaptar sua metodologia com aulas que possam potencialmente minimizar a ocorrência desses erros de compreensão, atuando assim de forma preventiva.…”

Um Método de Detecção de Plágio para Sistemas Juiz On-line baseado no Comportamento dos Alunos

“…Eles proveem feedbacks instantâneos e automáticos aos estudantes durante suas tentativas de solucionar os exercícios de programac ¸ão cadastrados por seus professores [Fonseca et al 2019, Pereira et al 2020c, Freitas Júnior et al 2020. Por conta disso, tais sistemas têm sido cada vez mais adotados pelas universidades, tanto do Brasil como do exterior [Wasik et al 2018, Lima et al 2020, Pereira et al 2021b. No entanto, apesar das vantagens do uso de juízes online, ainda carecem estudos sobre como detectar e/ou coibir as práticas de plágio que ocorrem nos exercícios compartilhados através desses sistemas [Pereira et al 2020c, Pereira et al 2021a].…”