Standard-setting methodology: Establishing performance standards and setting cut-scores to assist score interpretation

Abstract

A critical step in the development and use of tests of physical fitness for employment purposes (e.g., fitness for duty) is to establish 1 or more cut points, dividing the test score range into 2 or more ordered categories reflecting, for example, fail/pass decisions. Over the last 3 decades elaborated theories and methods have evolved focusing on the process of establishing 1 or more cut-scores on a test. This elaborated process is widely referred to as "standard-setting". As such, the validity of the test score interpretation hinges on the standard-setting, which embodies the purpose and rules according to which the test results are interpreted. The purpose of this paper is to provide an overview of standard-setting methodology. The essential features, key definitions and concepts, and various novel methods of informing standard-setting will be described. The focus is on foundational issues with an eye toward informing best practices with new methodology. Throughout, a case is made that in terms of best practices, establishing a test standard involves, in good part, setting a cut-score and can be conceptualized as evidence/databased policy making that is essentially tied to test validity and an evidential trail.Key words: standard-setting, physical fitness testing, cut-score, pass-score, test validity, performance standards, psychometrics.Résumé : Une étape cruciale du développement et de l'utilisation des tests de condition physique à des fins d'emploi (p. ex., aptitude au travail) est de déterminer un ou des seuils de coupure sur l'échelle des résultats pour obtenir deux catégories ordonnées ou plus d'aptitude indiquant, par exemple, une réussite ou un échec. Durant les trois dernières décennies, les théories et les méthodes se sont axées de plus en plus sur le processus de détermination d'un ou des seuils de coupure dans un test. Ce processus d'élaboration est généralement connu sous le terme de « normalisation ». À ce titre, la validité de l'interprétation du résultat au test repose sur l'établissement de la norme dont dépendent les intentions et les règles d'interprétation des résultats. Cet article a pour objectif de donner un aperçu de la méthodologie d'établissement des normes. On y décrit les caractéristiques essentielles, les définitions clés et concepts ainsi que diverses nouvelles méthodes par lesquelles on établit des normes. L'accent est placé sur les problématiques essentielles tout en gardant le cap sur les meilleures pratiques avec la nouvelle méthodologie. Tout au long, on démontre que, en matière de bonnes pratiques, l'établissement d'une norme dans un test signifie en grande partie d'établir un seuil de coupure dont la valeur peut justifier la politique décisionnelle basée essentiellement sur la validité du test et de son évidence résultante. [Traduit par la Rédaction] Mots-clés : normalisation, évaluation de la condition physique, seuil de coupure, seuil de réussite, validité du test, normes de performance, psychométrie.

Validity and reliability of physical employment standards

“…This requirement ultimately determines the final pass/fail criteria for a PES (Tipton et al 2013;Zumbo 2016). Therefore, how MPSs are identified and justified provides the foundation upon which all subsequent assessments of validity are made, and thereby determines the defensibility of a PES.…”

“…Kane (1994) distinguished the cut-score (which he refers to as a "passing score"), as a point on the test score scale, from the performance standard, which is the minimally adequate level of performance for some purpose (Zumbo 2016). This section will focus on the validity of setting MPS.…”

“…The "arbitrariness" of setting cut-scores should be considered (Kane 1994;Zumbo 2016). This sense of arbitrariness is reinforced by the oft-heard remark that standard-setting and hence setting a cut-score is, in its essence, a policy decision.…”

“…For example, construct irrelevant variance may arise from task easiness or difficulty, which can be traced to equipment design or coaching while measuring the physical abilities construct of focus in the test (Messick 1989;Kane 2006;Zumbo 2007). For a detailed discussion on how to set a valid cut-score, please refer to Zumbo (2016).…”

“…In addition, standard errors for variance components provide information about sampling variability. Finally, generalizability theory allows tests to have decisions assisted by norm-referencing or criterionreferencing (Zumbo 2016). These 2 options reflect 2 types of definitions of error variance and require different types of ICCs and reliability coefficients (Bloch and Norman 2012;Briesch et al 2014).…”