Responsible Modeling of Measurement Data for Appropriate Inferences: Important
                    Advances in Reliability and Validity Theory

Zumbo, Bruno D.; Rupp, André

doi:10.4135/9781412986311.n4

Cited by 30 publications

(28 citation statements)

References 100 publications

(143 reference statements)

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…As Zumbo and Rupp (2004) note, scoring test data eventually brings about consequences for test-takers and these consequences are mathematically dependent upon accurately estimating the error associated with test-takers' scores, which is most crucial for test-takers with an observed score somewhere around the cutscore. It has long been recognized in the statistical theory of psychometrics that the score error is not constant along the continuum of test scores even though in early work in classical test theory unconditional raw-score standard error of measurement was reported and used.…”

Section: The Importance Of Conditional Estimates Of Precision In Testmentioning

confidence: 99%

Standard-setting methodology: Establishing performance standards and setting cut-scores to assist score interpretation

Zumbo

2016

Appl. Physiol. Nutr. Metab.

View full text Add to dashboard Cite

A critical step in the development and use of tests of physical fitness for employment purposes (e.g., fitness for duty) is to establish 1 or more cut points, dividing the test score range into 2 or more ordered categories reflecting, for example, fail/pass decisions. Over the last 3 decades elaborated theories and methods have evolved focusing on the process of establishing 1 or more cut-scores on a test. This elaborated process is widely referred to as "standard-setting". As such, the validity of the test score interpretation hinges on the standard-setting, which embodies the purpose and rules according to which the test results are interpreted. The purpose of this paper is to provide an overview of standard-setting methodology. The essential features, key definitions and concepts, and various novel methods of informing standard-setting will be described. The focus is on foundational issues with an eye toward informing best practices with new methodology. Throughout, a case is made that in terms of best practices, establishing a test standard involves, in good part, setting a cut-score and can be conceptualized as evidence/databased policy making that is essentially tied to test validity and an evidential trail.Key words: standard-setting, physical fitness testing, cut-score, pass-score, test validity, performance standards, psychometrics.Résumé : Une étape cruciale du développement et de l'utilisation des tests de condition physique à des fins d'emploi (p. ex., aptitude au travail) est de déterminer un ou des seuils de coupure sur l'échelle des résultats pour obtenir deux catégories ordonnées ou plus d'aptitude indiquant, par exemple, une réussite ou un échec. Durant les trois dernières décennies, les théories et les méthodes se sont axées de plus en plus sur le processus de détermination d'un ou des seuils de coupure dans un test. Ce processus d'élaboration est généralement connu sous le terme de « normalisation ». À ce titre, la validité de l'interprétation du résultat au test repose sur l'établissement de la norme dont dépendent les intentions et les règles d'interprétation des résultats. Cet article a pour objectif de donner un aperçu de la méthodologie d'établissement des normes. On y décrit les caractéristiques essentielles, les définitions clés et concepts ainsi que diverses nouvelles méthodes par lesquelles on établit des normes. L'accent est placé sur les problématiques essentielles tout en gardant le cap sur les meilleures pratiques avec la nouvelle méthodologie. Tout au long, on démontre que, en matière de bonnes pratiques, l'établissement d'une norme dans un test signifie en grande partie d'établir un seuil de coupure dont la valeur peut justifier la politique décisionnelle basée essentiellement sur la validité du test et de son évidence résultante. [Traduit par la Rédaction] Mots-clés : normalisation, évaluation de la condition physique, seuil de coupure, seuil de réussite, validité du test, normes de performance, psychométrie.

show abstract

Section: The Importance Of Conditional Estimates Of Precision In Testmentioning

confidence: 99%

Standard-setting methodology: Establishing performance standards and setting cut-scores to assist score interpretation

Zumbo

2016

Appl. Physiol. Nutr. Metab.

View full text Add to dashboard Cite

show abstract

“…Para evaluar la consistencia interna de los instrumentos se calcularon dos indicadores: el coeficiente alfa de Cronbach y el coeficiente omega de McDonald (Elosua Oliden & Zumbo, 2008). El primero se calculó por ser el índice más usado en ciencias sociales (Zumbo & Rupp, 2004), lo que permite tener puntos de comparación con otros estudios. El segundo se utilizó porque constituye una de las más recientes alternativas para estimar la consistencia interna, en la medida que considera la naturaleza ordinal de los datos y es más preciso en las estimaciones (Zinbarg, Revelle, Yovel & Li, 2005).…”

Section: Tabla 5 Criterios De Bondad De Ajuste Para Modelos Estructurunclassified

Adaptación y Validación Preliminar del SPQ y el CEQ Para el Estudio de la Formación en Docencia Universitaria en el Contexto Chileno

Marchant

Fauré

Abricot

2016

Psykhe

View full text Add to dashboard Cite

El estudio tuvo como objetivo adaptar y aportar evidencias preliminares de validez del Course Experience Questionnaire (CEQ) y el Study Process Questionnaire (SPQ) en el contexto de la formación en docencia universitaria. Se analizaron evidencias de validez de contenido mediante el juicio de 6 expertos, estructura interna a través de análisis factorial confirmatorio, correlación entre los instrumentos y consistencia interna de ambos instrumentos, a través de los coeficientes alfa y omega. La muestra por conveniencia estuvo compuesta por 686 estudiantes de una universidad de la Región Metropolitana de Chile. Se obtuvieron versiones revisadas y adecuadas lingüísticamente de los instrumentos, alto grado de acuerdo entre jueces sobre su contenido y evidencias a favor de la estructura de 2 factores del SPQ y 4 del CEQ. También se encontraron correlaciones teóricamente consistentes según el modelo 3P, donde, por ejemplo, aquellos estudiantes con un enfoque profundo de aprendizaje percibieron una buena enseñanza y metas y objetivos claros. Se discute la posibilidad de desarrollar argumentos a favor de la utilización del CEQ y el SPQ a partir de otro tipo de evidencias. Palabras clave: validación, consistencia interna, SPQ, CEQ, ChileThe aim of this study was to adapt the Course Experience Questionnaire (CEQ) and the Study Process Questionnaire (SPQ) and to provide preliminary evidence of their validity in the context of university teaching developmental programs. Content validity evidence was analyzed by 6 expert raters, internal structure was checked via confirmatory factor analysis, and internal consistency and correlation between the instruments were examined via alpha and omega coefficients. The convenience sample was composed of 686 students from a university located in the Metropolitan Region of Chile. Revised and linguistically adapted versions of the instruments were obtained. A high degree of agreement among the raters was observed regarding the contents of the instruments. The evidence obtained supported the 2-factor structure of the SPQ and the 4-factor structure of the CEQ. Also, theoretically consistent correlations were found according to the 3P model. For example, students with a deep learning approach perceived good teaching and clear objectives and goals. The possibility to develop arguments for the use of the CEQ and the SPQ based on other types of evidence is discussed. Keywords: validation, reliability, SPQ, CEQ, ChileDurante las últimas décadas, la educación superior ha pasado por una serie de cambios que han tenido como eje el énfasis en la mejora de los procesos de enseñanza y aprendizaje y el aseguramiento de la calidad (Longden, 2010). Por una parte, se ha pasado de un modelo educativo centrado principalmente en el docente a un modelo en el que se valoriza el papel protagónico y activo del alumno en la construcción de aprendizajes. Por otra, se ha puesto el énfasis en el aseguramiento de la calidad, lo que ha desembocado en la necesidad de contar con modelos conceptuales que permitan poner a pr...

show abstract

“…No obstante, la practicidad que supone su brevedad presenta limitaciones metodológicas como la estimación de la confiabilidad. Para estimar la confiabilidad de los puntajes, el coeficiente α (Cronbach, 1951) es el estimador más usado por los investigadores en psicología (Elosua & Zumbo, 2008;Ledesma, 2002;Zumbo, & Rupp, 2004). Aun con su uso extendido, muchas veces no se conoce si los datos cumplen algunas condiciones requeridas para su aplicación, como por ejemplo, el modelo de medición apropiado.…”

Section: ( 35 ) Estimación De La Confiabilidad En Mediciones De Dos íunclassified

Estimación De La Confiabilidad en Mediciones De Dos Ítems: El Coeficiente Angoff-Feldt

2016

View full text Add to dashboard Cite

Estimación de la confiabilidad en mediciones de dos ítems: el coeficiente Angoff-Feldt RESUMEN. En la actualidad el uso de medidas breves en la evaluación psicológica se extiende con rapidez, aunque en muchas ocasiones el análisis de la confiabilidad de sus puntajes se ve limitado por algunas condiciones que deben superarse para utilizar determinados coeficientes (p.e., el coeficiente α). El cumplimiento del modelo tau-equivalente es uno de los requerimientos más importantes que exige el coeficiente α y al no alcanzarse, la estimación puede ser sesgada. El objetivo de este artículo es presentar el coeficiente Angoff-Feldt (r AF ) para la estimación de la confiabilidad, que puede ser usado en medidas congenéricas, es decir, que no cumplan con las exigencias del coeficiente α (p.e., modelo tau-equivalente). Si bien el r AF se pensó inicialmente para dos mitades congenéricas, en el artículo se presenta la aplicación para medidas de dos ítems, asumiendo que cada uno es una mitad. Se brinda un ejemplo sobre su utilidad, y se discute la posibilidad de implementar su uso. Palabras clave:confiabilidad, Angoff-Feldt, medidas congenéricas Sergio Alexis Dominguez-Lara*, César Merino-Soto**, Jhonatan S. Navarro-Loli*** Instituto de Investigación de Psicología, Universidad de San Martín de Porres, Lima, Perú ARTÍCULO METODOLÓGICOABSTRACT. Nowadays, the use of brief measurements in psychological evaluations is extending rapidly, but many times the reliability analysis of the scores is limited by the conditions which must be overcome to use certain coefficients (e.g. α coefficient). The compliance of the tau equivalent measurement model is one of the most important the α coefficient demands, and as it is not achieved, the estimate may be biased. The aim of this paper is to present the Angoff-Feldt (r AF ) coefficient for reliability estimate, to be used in congeneric measures, that is, those that do not comply with the demands of the

show abstract

Responsible Modeling of Measurement Data for Appropriate Inferences: Important Advances in Reliability and Validity Theory

Cited by 30 publications

References 100 publications

Standard-setting methodology: Establishing performance standards and setting cut-scores to assist score interpretation

Standard-setting methodology: Establishing performance standards and setting cut-scores to assist score interpretation

Adaptación y Validación Preliminar del SPQ y el CEQ Para el Estudio de la Formación en Docencia Universitaria en el Contexto Chileno

Estimación De La Confiabilidad en Mediciones De Dos Ítems: El Coeficiente Angoff-Feldt

Contact Info

Product

Resources

About