Métodos de avaliação da proficiência dos estudantes vem ganhando destaque nos últimos anos. Existe um número crescente de cursos online e plataformas que disponibilizam repositórios de questões ou exercícios onde os métodos de avaliação ocorrem de forma automática. Esse trabalho faz uma análise dos dados gerados através de dois modelos que tem por objetivo estimar a habilidade dos estudantes: ELO e TRI. O ELO foi desenvolvido para classificar jogadores através do histórico de jogo enquanto a TRI estima a habilidadeatravés de um conjunto de respostas dadas a um conjunto de itens. Utilizamos uma base de dados disponibilizada por uma plataforma Online Judge do Brasil. Os resultados obtidos nos apontam diferenças entre os modelos em relação às habilidades estimadas, diferenças que acreditamos estar relacionadas à forma com que cada modelo estima os parâmetros.

É crescente o número de plataformas online que disponibilizam exercícios de programação, onde os estudantes submetem a resolução destes exercícios e recebem um feedback automático do sistema, sem intervenção humana. Esses ambientes permitem o registro de muitos aspectos das submissões e, dessa forma, os modelos de avaliação educacional podem ser utilizados para inferir as habilidades trabalhadas em cada solução. Neste trabalho apresentamos uma análise comparativa de três modelos que estimam a habilidade dos estudantes: Elo, Teoria de Resposta ao Item (TRI) e M-ERS (Multidimensional Extension of the ERS). O Elo foi desenvolvido para classificar jogadores de xadrez, através do histórico de jogo, mas foi adaptado para estimar a habilidade dos estudantes através do histórico de submissões dos problemas. A TRI estima a habilidade através de um conjunto de respostas dadas a um conjunto de itens, existem alguns modelos de TRI que variam de acordo com o tipo de resposta. M-ERS é uma adaptação do Elo e TRI que combina os dois modelos e rastreia as múltiplas habilidades dos estudantes. Os modelos Elo, TRI de 2 parâmetros, TRI de resposta gradual e o M-ERS foram aplicados em uma base de dados disponibilizada por uma plataforma Online Judge. Os resultados obtidos apontam diferenças entre os modelos em relação às habilidades estimadas, diferenças que acredita-se estar relacionadas à forma com que cada modelo estima os parâmetros.