No abstract

The overclaiming technique (OCT) is a novel way of measuring how socially desirable responding influences survey responses. It has the potential to enhance the cross-cultural comparability of survey data. It allows the identification of respondents’ knowledge accuracy and exaggeration by comparing their assessments of familiarity with existing and nonexisting concepts in a particular field of knowledge. We aim to compare the response patterns of countries and world regions based on their OCT accuracy and exaggeration-index values and validate these OCT scores using external variables. We also introduce a general model for the categorization of respondents based on their OCT indices values. We use the Programme for International Student Assessment (PISA) 2012 data from 64 countries (N = 275,904). We found considerable differences in response patterns across world regions: high accuracy values in East Asia, low accuracy values in Southern and Central America, high exaggeration values in Southern Europe, and low exaggeration values in Western Europe. Furthermore, we show that familiarity with math concepts changes substantially after adjustment using the OCT. The correlation between unadjusted math familiarity and math test scores is weak and nonsignificant (.13) whereas after adjustment the correlation becomes strong and significant (.66). Concerning other indicators such as gross domestic product (GDP), public expenditure in education, and Corruption Perceptions Index (CPI), before adjustment the correlation is negative and even significant for CPI (–.11, –.22, and –.45) whereas after adjustment the correlation becomes, though nonsignificant, positive (.05, .19, and .07). We also discuss the OCT in the context of other methods indicative of culturally preferred scale usage.

No abstract

No abstract

Dotazníková šetření se (sebe)hodnoticími položkami jsou v pedagogickém výzkumu využívána často. Respondenti však mohou na tyto položky odpovídat rozdílně, tj. volit jiné škálové kategorie, přestože jejich objektivní situace je stejná. Metoda ukotvujících vinět nabízí řešení tohoto problému. Odpovědi na tyto položky koriguje o rozdílné užívání škály a činí je tak porovnatelné. Tento příspěvek si klade dva cíle. Zaprvé poskytnout přehled do této chvíle publikovaných prací z oblastí pedagogického výzkumu, ve kterých byla tato metoda aplikována. Zadruhé shrnout metodologická doporučení týkající se správné formulace a užití ukotvujících vinět. Metoda byla zatím úspěšně aplikována při měření nečestného chování žáků, ICT znalostí a dovedností, spokojenosti rodičů se školou, řízení třídy učitelem a podpory žáků ze strany učitele. Ukazuje se, že respondenti s různými charakteristikami skutečně užívají škálu rozdílným způsobem a že korigování dat s využitím metody ukotvujících vinět může pomoci vysvětlit některá paradoxní zjištění o vztahu vybraných proměnných. Naše metodologická doporučení pro využívání vinět se týkají podpory základních předpokladů metody, diskriminační síly vinět, počtu vinět, obsahové relevance a jazykové složky vinět. Na základě shrnutí dosavadního rozšíření a přínosu této metody pedagogickému výzkumu diskutují autoři možnosti jejího dalšího využití pro měření pedagogických konceptů.