En este artículo se reportan los resultados de un estudio exploratorio que busca caracterizar prácticas implementadas por docentes pertenecientes a redes de mejoramiento escolar de la Región de Valparaíso, en los procesos de evaluación durante la pandemia del COVID-19, específicamente en el primer semestre del 2020. Nos interesamos, particularmente, en las evaluaciones de la asignatura de Matemáticas, de las cuales, algunas de ellas fueron realizadas con tecnología digital. Se hizo un análisis temático para caracterizar las respuestas de los profesores. En el marco conceptual se definieron categorías de análisis: valor pragmático versus epistémico de las evaluaciones, evaluación sumativa versus formativa y evaluación para y del aprendizaje. Los resultados muestran una dicotomía entre la evaluación automática y la evaluación manual, pues mientras en la primera las ventajas son prácticamente solo de tipo pragmáticas, en las evaluaciones manuales las ventajas son formativas o relacionadas con la evaluación del aprendizaje.