Look and ye shall hear: Selective auditory attention modulates the audiovisual correspondence effect

Abstract

One of the unresolved questions in multisensory research is that of automaticity of consistent associations between sensory features from different modalities (e.g. high visual locations associated with high sound pitch). We addressed this issue by examining a possible role of selective attention in the audiovisual correspondence effect. We orthogonally manipulated loudness and pitch, directing participants’ attention to the auditory modality only and using pitch and loudness identification tasks. Visual stimuli in high, low or central spatial locations appeared simultaneously with the sounds. If the correspondence effect is automatic, it should not be affected by task changes. The results, however, demonstrated a cross-modal pitch-verticality correspondence effect only when participants’ attention was directed to pitch, but not to loudness identification task; moreover, the effect was present only in the upper location. The findings underscore the involvement of selective attention in cross-modal associations and support a top-down account of audiovisual correspondence effects.

На Повышенных Тонах: Роль Пространственного Познания В Кросс-Модальном Взаимодействии Эмоциональной Семантики И Аудиального Восприятия

“…Интересно, что схожие результаты обнаруживаются при предъявлении более простых визуальных стимулов в верхней пространственной позиции, что объясняется асимметрией восприятия и внимания (Jóhannesson et al, 2018), так как верхняя часть зрительного поля имеет преимущество перед нижней: длительность фиксаций, совершенных в верхней части поля зрения, ниже, чем длительность фиксаций в нижней; также отмечается более четкое представительство верхнего поля зрения в подкорковых и корковых зрительных центрах (Greene et al, 2019). Схожие результаты были получены в наших предыдущих исследованиях, выполненных с использованием более простого стимульного материала -круга, предъявлявшегося в различных пространственных позициях (Janyan et al, 2022).…”

Untitled

“…Интересно, что схожие результаты обнаруживаются при предъявлении более простых визуальных стимулов в верхней пространственной позиции, что объясняется асимметрией восприятия и внимания (Jóhannesson et al, 2018), так как верхняя часть зрительного поля имеет преимущество перед нижней: длительность фиксаций, совершенных в верхней части поля зрения, ниже, чем длительность фиксаций в нижней; также отмечается более четкое представительство верхнего поля зрения в подкорковых и корковых зрительных центрах (Greene et al, 2019). Схожие результаты были получены в наших предыдущих исследованиях, выполненных с использованием более простого стимульного материала -круга, предъявлявшегося в различных пространственных позициях (Janyan et al, 2022).…”