The MIMIC Model as a Method for Detecting DIF: Comparison With Mantel-Haenszel, SIBTEST, and the IRT Likelihood Ratio

Abstract

This study compares the ability of the multiple indicators, multiple causes (MIMIC) confirmatory factor analysis model to correctly identify cases of differential item functioning (DIF) with more established methods. Although the MIMIC model might have application in identifying DIF for multiple grouping variables, there has been little examination of how well the technique works in terms of correct and incorrect identification of DIF. A Monte Carlo methodology is used in this study, with manipulation of the number of items, number of examinees, differences between the mean abilities of the reference and focal groups, level of DIF contamination of the anchor items, and amount of DIF in the target item. Results indicate that the MIMIC model is effective for DIF identification for 50 items or when the two-parameter logistic model underlies the data but has a very high rate of incorrect DIF identification for 20 items with three-parameter logistic data.

MIMIC, SIBTEST, Lojistik Regresyon ve Mantel-Haenszel Yöntemleriyle Gerçekleştirilen DMF ve Yanlılık Çalışması

“…DMF belirlemenin yanında, DMF miktarını da β etki büyüklüğünü kullanarak belirler. DMF etki büyüklüğünü yorumlamak için kullanılan ölçütler Roussos ve Stout, (1996) (Finch, 2005):…”

“…Doğrudan etki ise madde yanıtı olasılıklarının gruplar arasında değişiklik gösterip göstermediğini belirtir. Bu formül gruplar için gizil özellik ortalamasındaki değişiklikler kontrol edildikten sonra tek biçimli DMF'nin kontrol edilmesinde kullanılır (Finch, 2005;Finch ve French, 2007). Ayrıca bu yaklaşımda kategorik ve sürekli değişkenlerle ikiden fazla grup için DMF belirlenebilir ve tek bir süreksiz gruplama değişkeni ile DMF analizi yapmaya izin veren geleneksel DMF yöntemlerine göre daha esnektir (Wang, Shih ve Yang, 2009).…”

“…DFA da gözlenen değişkenler kategorik olduğundan gözlenen değişkenlerin normalliği sayıltısına dayanan maksimum likelihood (olasılık) yönteminin kullanılması hatalı sabit bulunmasına neden olur. Bu nedenle WLS ya da RWLS kestirimi kullanılması tavsiye edilir (Finch, 2005;Finch ve French, 2007). Lojistik Regresyon Yöntemi: DMF'yi belirlemek amacıyla lojistik regresyon yöntemi tek biçimli olmayan DMF'yi tanımlaması açısından MH istatistiğine göre daha üstündür.…”

“…Bekçi,2007 Ülkemizde, SBS de yer alan maddelerin DMF içerip içermediğinin belirlenmesine yönelik çalışmalar bulunmaktadır (Karakaya, 2012;Karakaya ve Kutlu, 2012). Literatürde DMF tespitinde MIMIC modelinin etkililiğinin değerlendirilmesi konusunda simülasyon çalışmaları bulunmaktadır (Finch, 2005;Stark, Chernyshenko ve Drasgow, 2006;Finch ve French, 2007;Shih ve Wang, 2009;Woods, 2009;Finch ve French, 2011;Kim ve Yoon, 2011). Gerçek veri setlerinde MIMIC modelinin kullanıldığı az sayıda çalışmaya rastlanılmıştır (Maclntosh ve Hashim, 2003;Woods, Oltmanns ve Turkheimer, 2009).…”

“…Örneklem sayılarının seçiminde Finch (2005) Tablo 3'te yer alan betimsel istatistikler göz önüne alındığında; erkekler ve kadınlara ait betimsel değerlerin birbirine yakın olduğu görülmektedir. Kadınların ortalamasının erkeklerin ortalamasından biraz fazla olduğu, çarpıklık ve basıklık değerlerine bakıldığındaysa normal dağılım (-1,1) aralığında olduğu görülmektedir.…”