Sources of Artifacts in SLODR Detection

Abstract

Background. Spearman’s law of diminishing returns (SLODR) states that intercorrelations between scores on tests of intellectual abilities were higher when the data set was comprised of subjects with lower intellectual abilities and vice versa. After almost a hundred years of research, this trend has only been detected on average. Objective. To determine whether the very different results were obtained due to variations in scaling and the selection of subjects. Design. We used three methods for SLODR detection based on moderated factor analysis (MFCA) to test real data and three sets of simulated data. Of the latter group, the first one simulated a real SLODR effect. The second one simulated the case of a different density of tasks of varying difficulty; it did not have a real SLODR effect. The third one simulated a skewed selection of respondents with different abilities and also did not have a real SLODR effect. We selected the simulation parameters so that the correlation matrix of the simulated data was similar to the matrix created from the real data, and all distributions had similar skewness parameters (about -0.3). Results. The results of MFCA are contradictory and we cannot clearly distinguish by this method the dataset with real SLODR from datasets with similar correlation structure and skewness, but without a real SLODR effect. Theresults allow us to conclude that when effects like SLODR are very subtle and can be identified only with a large sample, then features of the psychometric scale become very important, because small variations of scale metrics may lead either to masking of real SLODR or to false identification of SLODR.

Untitled

“…Исходя из высказанных выше соображений, мы продолжаем исследовать изменения выраженности эффекта SLODR при различных деформациях шкал и различных распределениях респондентов по уровню способностей и оценивать, в какой степени методы детекции эффекта SLODR могут различать реальный эффект и ложные эффекты, порожденные не относящимися к существу дела особенностями распределений тестовых результатов. В предыдущих работах мы использовали «традиционный» метод детекции эффекта SLODR в сочетании с оригинальным методом скользящей оценки дисперсии (Running Variance Estimate -RVE, его мы кратко опишем ниже) (Корнеев и др., 2019) и метод модераций факторных нагрузок, остатков и ошибок для бифакторных моделей (Korneev et al, 2021). В данной работе мы тестируем методы, использующие линейные модерации параметров простейшей модели конфирматорного факторного анализа с четырьмя субтестовыми переменными, корреляции между которыми все равные, а следовательно, равны и их факторные нагрузки на фактор g (см.…”

“…В связи с этим вопросы метода кажутся нам не менее, а даже более важными, чем подтверждение закона Спирмена. Данная статья продолжает серию по разработке подходов к доступным нам данным с различными методами детекции эффекта SLODR (Корнеев и др., 2019; Korneev et al, 2021).…”

“…В первой нашей работе (Корнеев и др., 2019), в которой тестирование SLODR проводилось традиционным методом, мы показали, что «в чистом виде» эти источники достаточно легко различимы с помощью традиционного анализа, однако их «смеси» могут выдавать ложный эффект даже при симметрии распределений переменных. В следующей статье мы тестировали методы MCFA на бифакторных (рисунок 2Б) моделях (Korneev et al, 2021). Здесь мы продолжаем исследования, однако вместо тестирования иерархических моделей мы ограничиваемся простой одноуровневой моделью MCFA, для которой нам удалось сделать параметры распределений максимально контролируемыми.…”