CONTEXTO. Este artigo apresenta um juiz online gamificado desenvolvido com a finalidade de motivar estudantes de graduação iniciantes no aprendizado de programação. O sistema foi aplicado em 11 turmas de diferentes cursos de engenharia e ciências exatas da Universidade <omitidapara revisão> no 1° período letivo de 2017. OBJETIVO. O objetivo geral deste estudo é avaliar o impacto desse juiz online gamificado em uma disciplina introdutória de programação sobre o desempenho, motivação, experiência e percepção da aprendizagem dos estudantes. MÉTODO. Um quase-experimento foi realizado para mensurar a influência do sistema gamificado sobre o desempenho dos estudantes, comparando-se estatisticamente dados das turmas de 2017/1 (com gamificação) com as de 2016/1 (sem gamificação). Além disso, nas turmas de 2017/1, foi aplicado um questionário qualitativo para verificar a percepção dos estudantes em relação a três componentes: motivação, experiência do usuário e percepção da aprendizagem. RESULTADOS. Verificou-se um aumento significativo na nota final da disciplina entre os não desistentes, o que não dependeu da experiência prévia reportada pelos alunos, mas que se concentrou mais nos alunos não repetentes. Além disso, houve um aumento no número de logins, número de testes de código e tempo de uso do IDE do juiz online. Não se verificou diferença significativa no número de exercícios corretos, mas houve uma redução na variância, principalmente entre os alunos de desempenho mais baixo. Também nas turmas experimentais, houve uma diminuição da associação entre a nota da prova de Matemática do Enem e o desempenho em programação. Com respeito à percepção dos estudantes em termos dos três componentes da análise qualitativa, a maioria das respostas foi positiva. CONCLUSÕES. Embora a taxa de desistência da disciplina tenha aumentado no período letivo de uso do juiz online gamificado, os resultados reforçam as evidências sobre o potencial motivador da gamificação no processo de ensino-aprendizagem de programação.