Com os recentes avanços da IA, tem crescido o uso de sistemas automáticos para avaliação de aprendizagem. Este estudo apresenta os resultados da primeira avaliação automática de fluência leitora em língua portuguesa realizada em larga escala com estudantes do segundo ano do ensino fundamental. Os resultados automáticos foram comparados com um volume expressivo de correções manuais realizado por corretores treinados. Embora a solução ainda não contemple todos os aspectos da avaliação, os resultados mostram que a correção automática é capaz de produzir dados compatíveis com os dados produzidos por corretores humanos, proporcionando uma alternativa viável e econômica para avaliações em larga escala.