El objetivo de este estudio fue analizar el juicio evaluativo de los docentes de matemáticas sobre la dificultad de una muestra de ítems en los que los estudiantes mostraron alto y bajo desempeño en la Prueba PISA 2015 en Chile. Para ello, se elaboró una investigación con enfoque cuantitativo y un diseño exploratorio. Los participantes fueron 18 docentes de matemáticas, elegidos mediante un muestreo no probabilístico e intencional, que respondieron a una encuesta con preguntas de respuesta abierta y cerrada, la cual evaluaba cada ítem con base en cinco dimensiones: formulación del ítem, contenido, contextualización, habilidad y complejidad. Los resultados demuestran que el 40% de los docentes de matemáticas presentan dificultad para acertar con precisión respecto a los ítems en los que los estudiantes mostraron bajo desempeño. Sin embargo, tendieron a concordar en el 60% de las evaluaciones y a predecir en el 80% el desempeño de los alumnos en los ítems de alto desempeño. Según los docentes, los estudiantes tendrán más dificultades en ítems que miden una habilidad cognitiva superior, tienen baja familiaridad con el tipo de ítem y en los que la información se encuentra de forma implícita en el problema.