Are Interviewer Effects on Interview Speed Related to Interviewer Effects on Straight-Lining Tendency in the European Social Survey? An Interviewer-Related Analysis

Vandenplas, Caroline; Loosveldt, Geert; Beullens, Koen; Denies, Katrijn

doi:10.1093/jssam/smx034

Cited by 10 publications

(21 citation statements)

References 27 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…A túl gyors kitöltés mögött állhat nem lelkiismeretes válaszadói magatartás (satisficing, Krosnick 1991). Az ilyen magatartásra az jellemző, hogy a válaszadó gyakran megtagadja a választ, nem dolgozza fel a kérdéseket alaposan, nem átgondoltan válaszol, hasonló kérdéseknél ugyanazokat a válaszokat adja (straightlining, Zhang-Conrad 2014;Vandenplas et al 2018), vagy a legkönnyebben elérhető választ adja (társadalmilag elvárt válaszok, első vagy utolsó válaszlehetőségek, igen/egyetért válaszok). A gyors kitöltés mögött állhat azonban kérdezőbiztosi hiba is.…”

Section: Stefkovics áDám -Wurm Viktorunclassified

“…Az egyik ilyen nemzetközi kutatás a Europen Social Survey (ESS). Az ESS korábbi hullámain vizsgálták, hogy mely válaszadói csoportokra milyen kitöltési idő jellemző (Loosveldt-Beullens 2013a), mekkora szerepe van a kitöltési időben a válaszadónak és a kérdezőbiztosnak (Loosveldt-Beullens 2013b, van-e összefüggés a kérdezőbiztos, a kitöltés sebessége és a nem-differenciált válaszadás között (Vandenplas et al 2018), és hogy mindezek különböznek-e országonként.…”

Section: Stefkovics áDám -Wurm Viktorunclassified

“…Későbbi ESS adatokon végzett elemzések megerősítették ezeket a megfigyeléseket. Az ESS 7. hullámán a kitöltési időt 8-37% között magyarázta a kérdezőbiztos személye országtól függően (Vandenplas et al 2018), a túl gyors vagy túl lassú kitöltések pedig rendre magas kérdezőbiztos-hatással párosulnak ). Vandenplas és szerzőtársai (2018) elemzésében a gyors kitöltés szignifikánsan magasabb nemdifferenciált válaszadást (straightlining) eredményezett az országok felében.…”

Section: Korábbi Eredményekunclassified

See 2 more Smart Citations

A kitöltési idő és az adatminőség közötti összefüggések vizsgálata az ESS 9. hullámának adatain

Stefkovics¹,

Wurm

2021

socio.hu

View full text Add to dashboard Cite

Egy kérdőív hossza sok egyéb mellett befolyásolja a válaszadási hajlandóságot, a költségeket és a kérdezőbiztosok motivációját. Mindezek mellett ritkábban esik szó arról, hogy a kitöltési idő, avagy a kitöltés sebessége milyen hatással van az adatminőségre. Feltételezhető, hogy a válaszadásnak létezik egy egyénenként eltérő optimális sebessége, amely sebességtől való bármilyen irányú eltérés az adatminőség romlásához vezethet. Korábbi, European Social Survey (ESS) adatokat elemző kutatások már találtak összefüggést a kitöltés sebessége és az adatminőség között, ám ezek a vizsgálatok nem elsősorban az adatminőségre, hanem a kérdezőbiztosok szerepére fókuszáltak. Jelen tanulmány célja feltérképezni a kitöltési idő és az adatminőség kapcsolatát a korábbiaknál részletesebb, komplexebb adatminőség- indikátorok használatával. Elemzésünkben az ESS kilencedik, 2018-as hullámának adatait használjuk. Az országok mintegy felében gyenge, de szignifikáns összefüggést találtunk a kitöltési idő és az adatminőség között, a szociodemográfiai jellemzők kontroll alatt tartása mellett is. A hanyag válaszadói attitűd (magas részleges nemválaszolás, magas nem-differenciált válaszadás) túl gyors kitöltéssel párosul, míg a társadalmilag elvárt válaszadás túl lassú kitöltéssel. Az eredmények felhívják a figyelmet arra, hogy az ESS-nek fontos monitoroznia a kitöltés hosszát, továbbá a kérdezőbiztosok képzése során figyelmet kell fordítani a fenti válaszadói (vagy kérdezőbiztosi) hibák kezelésére és az optimális kérdezési sebesség betartatására.

show abstract

Section: Stefkovics áDám -Wurm Viktorunclassified

Section: Korábbi Eredményekunclassified

See 1 more Smart Citation

A kitöltési idő és az adatminőség közötti összefüggések vizsgálata az ESS 9. hullámának adatain

Stefkovics¹,

Wurm

2021

socio.hu

View full text Add to dashboard Cite

show abstract

“…Interviewers' question administration time may cue respondents about expected response quality, with a fast delivery suggesting that less careful answers may be acceptable (Cannell et al 1981;Fowler and Mangione 1990;Loosveldt and Beullens 2013). Although it is well established that interview length varies across interviewers (e.g., Olson and Peytchev 2007;Olson and Bilgen 2011;Loosveldt and Beullens 2013;Kirchner and Olson 2017;Vandenplas, Loosveldt, Beullens, and Denies 2017), it is less well understood why this variation occurs. One reason might be differences in how interviewers ask survey questions.…”

Section: Interviewer Question Reading and Administration Timementioning

confidence: 99%

The Effect of Question Characteristics on Question Reading Behaviors in Telephone Surveys

Olson

Smyth

Kirchner

2019

Journal of Survey Statistics and Methodology

View full text Add to dashboard Cite

Asking questions fluently, exactly as worded, and at a reasonable pace is a fundamental part of a survey interviewer’s role. Doing so allows the question to be asked as intended by the researcher and may decrease the risk of measurement error and contribute to rapport. Despite the central importance placed on reading questions exactly as worded, interviewers commonly misread questions, and it is not always clear why. Thus, understanding the risk of measurement error requires understanding how different interviewers, respondents, and question features may trigger question reading problems. In this article, we evaluate the effects of question features on question asking behaviors, controlling for interviewer and respondent characteristics. We also examine how question asking behaviors are related to question-asking time. Using two nationally representative telephone surveys in the United States, we find that longer questions and questions with transition statements are less likely to be read exactly and fluently, that questions with higher reading levels and parentheticals are less likely to be read exactly across both surveys and that disfluent readings decrease as interviewers gain experience across the field period. Other question characteristics vary in their associations with the outcomes across the two surveys. We also find that inexact and disfluent question readings are longer, but read at a faster pace, than exact and fluent question reading. We conclude with implications for interviewer training and questionnaire design.

show abstract

“…At the questionnaire level, in Malhotra (2008), the group of low-educated respondents with shorter interview durations was found to be most likely to have satisficing behavior (i.e., bias toward selecting the earlier choices). In a recent study, Vandenplas, Loosveldt, Beullens, and Denies (2018) highlighted the importance of using interview speed as a quality indicator based on the significant positive correlation found between straightlining tendency and interview speed at interviewer level.…”

Section: Introductionmentioning

confidence: 99%

The Evaluation of Statistical Process Control Methods to Monitor Interview Duration During Survey Data Collection

2019

Self Cite

View full text Add to dashboard Cite

Despite general agreement regarding the usefulness of statistical process control (SPC) tools for monitoring paradata, using SPC from an early phase of the survey fieldwork is rather rare. This study focuses on one type of paradata-interview duration-to fill this void. First, we establish a procedure based on the idea of enabling fieldwork monitoring for the seventh round of the European Social Survey in Belgium from its start. The impact of respondent characteristics on interview duration is controlled for by multiple regression. Moreover, we simulate the real conditions of an ongoing survey data collection process by cumulating data and repeating the identification of problematic interviews each week, on the basis that "new" data are available. Second, for each interview we record and track the results with regard to whether or not it is problematic over the fieldwork period, to examine the consistency of our findings. We find that as more data becomes available, the results concerning whether an interview is problematic changes in only 0.3% of the cases. Out of the 27 interviews identified as problematic when all information was available, 25 were immediately identified once relevant information was available. Overall, these findings suggest that SPC tools are reliable and efficient in a survey context, and accordingly have great potential for allowing survey practitioners to focus on the interviews for which further examination is needed immediately, rather than when the data collection has been completed.

show abstract

Are Interviewer Effects on Interview Speed Related to Interviewer Effects on Straight-Lining Tendency in the European Social Survey? An Interviewer-Related Analysis

Cited by 10 publications

References 27 publications

A kitöltési idő és az adatminőség közötti összefüggések vizsgálata az ESS 9. hullámának adatain

A kitöltési idő és az adatminőség közötti összefüggések vizsgálata az ESS 9. hullámának adatain

The Effect of Question Characteristics on Question Reading Behaviors in Telephone Surveys

The Evaluation of Statistical Process Control Methods to Monitor Interview Duration During Survey Data Collection

Contact Info

Product

Resources

About