Evaluar la docencia con el fin de mejorar la calidad de la enseñanza implica reconocer su complejidad y contar con instrumentos de evaluación válidos que orienten hacia la mejora. El objetivo de este artículo es reportar el proceso de investigación que permitió desarrollar un cuestionario de evaluación formativa de la docencia en línea con base en la opinión de los estudiantes. Los participantes fueron seis expertos en el diseño e implementación de cursos en línea y un total de 2821 estudiantes universitarios. El método consistió en dos etapas: 1) Desarrollo del instrumento a través de fundamentación teórica sobre los elementos de la competencia docente en línea susceptibles de ser evaluados por estudiantes; elaboración de la matriz de especificación del cuestionario; validación de la matriz por el juicio de expertos y estudio piloto; 2) Aportación de evidencias de confiabilidad y validez incluyó la aplicación del cuestionario; cálculo de estadísticos descriptivos; análisis de unidimensionalidad por medio del modelo Rasch; determinación de la confiabilidad de los puntajes; análisis factorial exploratorio y confirmatorio. Se demostró que 28 reactivos evalúan el mismo constructo y se confirmaron dos factores: previsión del proceso de enseñanza y aprendizaje; y conducción y evaluación de la experiencia de enseñanza y aprendizaje; una varianza total de 70.01% y alpha ordinal de .998; un índice de ajuste RMSEA= .08, SRMR= .03, CFI= .91. Se concluye que los resultados corroboraron el fundamento teórico del instrumento con características psicométricas aceptables, por lo que se recomienda su aplicación.