Les évaluations de l’enseignement par les étudiants et étudiantes sont utilisées à des fins académiques et formatives, mais sont également évoquées d’une manière sommative lors de décisions liées à la carrière professorale. Dans le cadre de la présente recherche, deux objectifs sont poursuivis. Le premier objectif est de déterminer les qualités psychométriques de l’instrument utilisé à l’Université du Québec à Rimouski. Avec l’avènement des technologies de l’information et de la communication, les conditions dans lesquelles se déroulent ces évaluations ont été modifiées. Le second objectif est de vérifier les impacts de la modalité de passation en ligne vs papier sur les qualités psychométriques de l’instrument. Le corpus de données est constitué des évaluations réalisées durant les années 2007- 2008 (20245 évaluations) et 2010-2011 (16432 évaluations). Les résultats attestent qu’un modèle hiérarchique décrit mieux la structuration du questionnaire que des modèles alternatifs, que la modalité de passation a une influence sur le taux de réponses et, dans certains cas, sur le taux de satisfaction des enseignements, mais qu’elle n’influence ni la fiabilité ni la dimensionnalité des évaluations. Les implications de ces résultats sont discutées.