Effects of Stem and Response Order on Response Patterns in Satisfaction Ratings

Abstract

Considerable research has examined the effect of response option order in ordinal bipolar questions such as satisfaction questions. However, no research we know of has examined the effect of the order of presentation of concepts in the question stem or whether stem order moderates response option order. In this article, we experimentally test the main and interaction effects of both stem and response option order for items in self-administered surveys on response distributions and answer changes in eight satisfied/dissatisfied questions. We find consistent evidence that response option order impacts answers. We also find that the order of “satisfied” or “dissatisfied” in the question stem impacts response distributions for four of our eight items but does not moderate the effect of response option order. We discuss the implications of our findings for questionnaire design and secondary data analyses.

¿Influye el diseño de las preguntas en las respuestas de los entrevistados?

“…A este aspecto Smyth et al (2019) añaden el procesamiento heurístico que plantea que "izquierda y arriba significa bueno, adecuado". Esta idea plantea que los encuestados esperan que la opción más positiva aparezca en la parte superior de las listas verticales, o en el extremo izquierdo de las listas horizontales, y que el resto siga en una progresión lógica y ordinal.…”

“…Esto se explica, en la medida que se lee de izquierda a derecha y de arriba abajo (en occidente). Smyth et al (2019) revisaron 150 ítems en 11 estudios y localizaron diferencias en las calificaciones medias según los órdenes de escala positivos y negativos.…”

“…En cuanto al número de respuestas 'no sabe', el signo positivo del orden de administración indica que el desconocimiento aumenta cuando se cambia el orden de administración de favorable a invertida. El desconocimiento aumenta 1,17 veces en la administración invertida, en línea con la hipótesis de Holbrook et al (2000;2007) y Smyth et al (2019) propuestas en la primera parte de este trabajo. El formato en dos preguntas -frente a la respuesta de una-genera una importante disminución de respuestas 'no sabe' (un 86,2% menos), tal y como se señaló anteriormente (tabla 3).…”

“…Debe aludirse aquí al planteamiento de Holbrook et al (2000) que consideraban que "el orden en el que las personas proporcionan información indica la importancia de esa información, así como al planteamiento heurístico que propone que "izquierda y arriba significa bueno, adecuado" (Smyth et al, 2019). Siguiendo ambos criterios, las respuestas más importantes deben ser comunicadas en primer lugar".…”

“…En cuanto a la estructura de la pregunta, y pese a que la descomposición de esta en dos partes facilita la comprensión y la respuesta 15 , duplicar el número de preguntas alarga el tiempo de la respuesta del cuestionario. Smyth et al (2019) afirman, de forma tajante, que "las opciones de respuesta positiva deben ser lo primero en las preguntas de satisfacción bipolar" (p. 272).…”