Adaptive Testing

Abstract

An adaptive test tailors the difficulty of the items to the ability of the examinee being tested. This article describes the general principles and models of adaptive testing beginning with the early Binet tests and continuing through state‐of‐the‐art techniques. Such computerised adaptive tests (C.A.T.s), based on item response theory (I.R.T.), are useful both for measurement and classification applications. I.R.T. provides a means by which different sets of items, as administered in a C.A.T., can be scored on a common scale. The principal advantages of CAT. are efficiency and control over either the precision of measurement or the accuracy of classification. C.A.T. procedures can be easily implemented without writing programs using commercially available software (e.g. MicroCAT). Un test “adaptatif” accorde la difficulté des items à la capacityé des candidate aux tests. Cet article décrit les principes généraux et les modèles de tests “adaptatifs” depuis les tests de Binet jusqu'aux techniques de pointe actuelles. Tels tests informatisés (C.A.T.s), basés sur la théorie des réponses par item (I.R.T.), sont utiles à la fois pour la mesure et la classification. I.R.T. procure les moyens par lesquels différents sets ďitems, tels qu'ils sont administrés dans un C.A.T., peuvent être notés sur une échelle commune. Les principaux avantages du C.A.T. sont ľefficacité et le contrôle de la précision de la mesure et de la fidélité de la classification. Le protocole du C.A.T. peut être aisément utilisé sans texte écrit en se servant des programmes informatisés disponibles dans le commerce.

Maximizing the Potential of Patient-Reported Assessments by Using the Open-Source Concerto Platform With Computerized Adaptive Testing and Machine Learning

“…CAT refers to a process of selecting the most informative items for people responding to questionnaires. In contrast to fixed-length assessments, where a standard set of items are presented to every respondent all at once, CAT employs a psychometric algorithm to select items one at a time based on the amount of information they will provide about the individual assessment taker [ 9 ]. Each item is calibrated using statistical models described by modern test theory, and this process provides parameters for each item which are then used by the CAT algorithm to both calculate a respondent’s score and select items [ 5 ].…”

Validite globale d'une strategie de testing adaptatif de maitrise pour fins de certification scolaire au Quebec

“…Une façon de contrer cette limite est l'emploi de la théorie des réponses aux items (TRI) qui permet d'estimer plus adéquatement la précision de la mesure individuelle. Compte tenu des connaissances actuelles (Wainer et al, 1990;Weiss et Vale, 1987), seul le testing adaptatif sur ordinateur semble approprié pour obtenir la même précision de l'estimé d'habileté individuelle pour tous les examinés. Dans un contexte de certification scolaire, un testing adaptatif ne peut s'effectuer sans l'apport de la TRI.…”

“…une stratégie de sélection d'items in situ qui consiste à n'administrer à chaque individu que les items permettant de bien mesurer son niveau d'habileté: toute réussite est suivie par un item plus difficile et tout échec, par un item plus facile parmi les items non encore répondus; la sélection d'items est opérée jusqu'à ce que le niveau d'habileté de l'individu soit estimé avec un maximum de précision. (Auger et Séguin, 1992, p. 106) Des études théoriques, de simulation et empiriques (Hambleton, Swaminathan et Rogers, 1991;Wainer et al, 1990;Weiss et Vale, 1987) confirment qu'une telle stratégie diminue la durée du testing et le nombre d'items administrés, ou augmente la précision de la mesure. Auger et Séguin (1992) ont déjà fait rapport d'une étude d'une stratégie de testing adaptatif informatisé faisant appel au modèle dichotomique logistique à trois paramètres (Birnbaum, 1968).…”

Strategies for computerized adaptive testing: golden section search, dichotomous search, and Z-score strategies

“…. Table 6.3: ANOVA table for RBF 4x2 design in the SAT Verbal 3-PL item pool, with information as the dependent variable .... Table 6.4: Fidelity correlations of true and estimated ability levels for GSSS, DSS, ZSS, and MLES in the SAT Verbal .3-PL item pool LIST OF FIGURES Figure 2.1: Mean squared errors for GSSS using four SD weights (W) in the 1-PL item pool 38 Many studies (e.g., Weiss, 1976Weiss, ,1982Weiss, , 1983Weiss & Kingsbury, 1984;Weiss & Vale, 1987;Lord, 1980;Roid, 1986;Stocking, 1987;Hulin, Drasgow, & Parsons, 1983, pp. 210-2.34;Moreno, Wetzel, McBride, & Weiss, 1984) have shown that adaptive testing procedure offers promise for improving measurement quality in many respects.…”

“…A general finding is that CAT can reduce test length by an average of 50%, without losing measurement quality (see, e.g., Weiss, 1979;Weiss & Vale, 1987;McBride, 1986). CAT also controls the measurement precision, in which everyone can be measured with a prespecified degree of precision.…”