Este artigo descreve a proposta, desenvolvimento e a validação de um sistema de juiz online, denominado JOAO, voltado para a aprendizagem de programação baseada em blocos, particularmente para crianças e adolescentes. Por meio de um experimento prático, realizados por um grupo de usuários, verificou-se que a abordagem adotada no sistema deixou os aprendizes muito motivados, aumentou o nível de engajamento deles com as atividades e facilitou a compreensão dos conceitos abstratos da programação.