Manuscrit soumis à la rédaction le 13 septembre 2012 ; commentaires éditoriaux formulés aux auteurs le 21 avril et le 12 août 2013 ; accepté pour publication le 17 août 2013Résumé -Contexte : La quantité de programmes de formation médicale disponibles sur Internet soulève un questionnement quant à l'uniformité de la qualité de l'information, la crédibilité et les sources du contenu médical retrouvé sur ces sites. But : Élaborer puis évaluer la fidélité d'une grille d'évaluation de sites Internet de formation médicale avec l'objectif d'offrir à la communauté médicale francophone internationale un outil utile, fidèle et innovant. Méthode : Une grille d'évaluation comportant 54 indicateurs groupés en cinq catégories a été élaborée. La fidélité du résultat global de la grille a été quantifiée en comparant les résultats obtenus par sept observateurs ayant évalué 16 mêmes sites Internet à deux reprises. La seconde évaluation des sites a eu lieu un an après la première afin de minimiser le risque que les observateurs se rappellent leur évaluation initiale. Ce plan de collecte de données a permis d'évaluer les composantes suivantes de la fidélité : la variabilité intra-observateurs, la variabilité inter-observateurs et l'interaction sites-observateurs. La fidélité du résultat global de la grille a été mesurée par le coefficient de corrélation intra-classe. Résultats : Le coefficient de corrélation intra-classe de la grille obtenu était de 0,684, ce qui correspond à une bonne fidélité. La variabilité intra-observateurs (répétabilité) a été la plus grande source de variation attribuable à la méthode de mesure avec 21 % de la variation totale. Une autre mesure de performance a aussi été utilisée : le rapport de discrimination. Le rapport de discrimination estime le nombre de catégories différentes pouvant être distinguées par un système de mesure. Le rapport de discrimination obtenu est de 2,3 ce qui indique que la grille permet de séparer les sites observés en deux catégories : faible et bien. Conclusion : La grille d'évaluation des sites Internet de formation médicale, par sa bonne fidélité, est un outil intéressant pour quantifier la qualité de ces sites. L'analyse démontre que la meilleure piste d'amélioration de la fidélité de la grille serait d'en améliorer la répétabilité (variabilité intra-observateurs) mais la consistance interne pourrait aussi être étudiée et optimisée. Abstract -Context:The mass of available medical training programs on the Internet raises questions about the uniformity of the quality of information, the reliability and the sources of the medical information found on these sites. Objectives: Developing and then assessing the accuracy of an assessment checklist of medical education websites in view of providing to the international French-speaking medical community a useful, reliable and innovative tool. Method: An assessment checklist of 54 indicators grouped into five categories was developed. The accuracy of the checklist's overall score was compared using the results of seven observers who ev...