Monitoring Faculty Consultant Performance in the Advanced Placement English Literature and Composition Program With a Many‐faceted Rasch Model

Abstract

The purpose of this study was to examine, describe, evaluate, and compare the rating behavior of faculty consultants who scored essays written for the Advanced Placement English Literature and Composition (AP® ELC) Exam. Data from the 1999 AP ELC Exam were analyzed using FACETS (Linacre, 1998) and SAS. The faculty consultants were not all interchangeable in terms of the level of severity they exercised. If students' ratings had been adjusted for severity differences, the AP grades of about 30 percent of the students would have been different from the one they received. Almost all the differences were one grade or less. Adjusting ratings for faculty consultant severity differences would not impact some student subgroups more than others.

The Relationship Between Raters' Prior Language Study and the Evaluation of Foreign Language Speech Samples

“…It appears that the raters overall were more lenient toward test takers who had Spanish as an L1, and more severe toward test takers who had Korean or Chinese as an L1. However, it should be noted that other researchers posit that differences between subgroup performances of less than .30 logits are usually not substantively meaningful (Engelhard & Myford, 2003), thus suggesting that the differences found here between the Spanish (on the one hand) and Korean and Chinese (on the other hand) L1…”

A Comparison of Rubrics and Graded Category Rating Scales with Various Methods Regarding Raters’ Reliability

“…Besides, studies comparing methods used for determining inter-rater reliability based on different theories of measuring have an important place in recent research. These include studies comparing the methods based on the classical test theory, G theory, the many-facet Rasch measurement and the hierarchical rating model (Akın & Baştürk, 2010, 2012Engelhard, 1994;Engelhard & Myford, 2003;Güler & Gelbal, 2010b;Güler & Teker, 2015;Iramaneerart, Myford, Yudkowsky, & Lowenstein, 2009;Iramaneerat et al, 2008;Linacre et al, 1990;Lynch & McNamara, 1998;Macmillan, 2000;Nakamura, 2000;Stenlund, 2013;Sudweeks, Reeve, & Bradshaw, 2004). Further details are not provided in relation to the above mentioned studies since the present study aims at comparing rubrics and graded-category rating scales used in scoring rather than comparing the methods used to determine inter-rater reliability.…”

Az idegen nyelvi érettségi működése és hatása a tanulói teljesítmények és a tanári nézetek tükrében

“…Számos kutató (az íráskészség esetében például Weigle, 1998;Engelhard és Myford, 2003;Eckes, 2005Eckes, , 2008Schoonen, 2005; a beszédkészség esetében például Vidakovic és Galaczi, 2009) modellezte az értékelık tulajdonságait. E vizsgálatok tanulságai szerint az értékelık különbözhetnek az értéke-lési szempontok értelmezésében és alkalmazásában, a vizsgázók nyelvi teljesítményé-nek szigorú vagy enyhe megítélésében, az értékelési skálák megértésében és használa-tában, a különbözı készségszintő diákok értékelésének következetességében.…”

“…Ezt a modellilleszkedést az outfit paraméterekkel jellemezhetjük számszerően (Engelhard és Myford, 2003;Park, 2004) Az outfit paraméterek jellemzik az adatok modellilleszkedését, azaz a megfigyelt és az elvárt adatok illeszkedését az egyes értékelési pontszámoknál. Ideális esetben ez az érték 1,0-hez van közel.…”

“…Ideális esetben ez az érték 1,0-hez van közel. Ha ez az érték 2,0-nél nagyobb, akkor azt jelölheti, hogy az adott pontszámhoz tartozó leírás nem mőködik megfelelıen, az értékelık a különbözı képességszintő vizsgázók esetén következetlenül használják az adott pontszámot (Engelhard és Myford, 2003). A formai jegyek és hangnem szemponton kívül mindkét feladatban a nyelvtan, helyesírás szempontnál találtunk 2,0-nél magasabb outfit paramé-tereket az 5. pontnál.…”