En la evaluación se utiliza cada vez más tecnologías como el vídeo digital por sus funcionalidades (anotaciones, ontologías y etiquetado social). Este trabajo pretende experimentar y evaluar el impacto de estas tecnologías emergentes en la formación inicial de docentes, comparando modelos tradicionales de evaluación en papel versus vídeo digital para evaluar competencias científicas en contenidos de vídeo que profusamente encontramos en las redes. La evaluación con anotaciones en el vídeo es una funcionalidad muy reciente e innovadora que ha sido poco investigada. Esta investigación responde a la pregunta ¿existen diferencias en cuanto a cantidad y calidad de elementos científicos identificados por los estudiantes cuando se utilizan procedimientos de evaluación en papel versus vídeo digital? Para evaluar la calidad de las respuestas se aplicó una rúbrica digital analizando 549 anotaciones y se utilizó la prueba estadística de Wilcoxon para la correlaciones. Se encuentra que no había diferencias significativas en cuanto a la cantidad de elementos identificados, pero sí en cuanto a la calidad, siendo mejores las respuestas realizadas con el vídeo. También se ofrece un modelo de utilización de anotaciones de vídeos para la adquisición de competencias científicas y una rúbrica para evaluar estas competencias.