Referential Phenomena in Speaker's Kinetic Channels

Abstract

The article addresses the relation of referential expressions and co-occurring kinetic phenomena (hand and head gestures) on the material of the RUPEX multimodal corpus. The results reflect significant differences in how individual movements and gestures are aligned with two major types of reference (full NPs vs. reduced expressions). It was initially assumed that full NPs are more often accompanied by a gesture. Our data support this hypothesis not only through the material of hand gestures, but also through head movements. Moreover, full NPs are more likely to be accompanied by downward movements in both manual and cephalic channels, as well as by metadiscourse gestures, in comparison to reduced referential units (personal and demonstrative pronouns). In addition, pronouns are more likely to be aligned with pointing hand gestures and zero reference is often accompanied by descriptive hand gestures. However, the kinetic behavior of the interlocutors is determined by a variety of factors, including the topic of the conversation, which predisposes to certain types of gestures and the relative position of the interlocutors.

Мультимодальные Исследования В Когнитивной Лингвистике: Референция И Жесты

“…в Azar et al 2019 исследование только для указательных жестов), однако распределение жестов разных типов для разных типов референциальных выражений устроено не одинаково. В ра-боте Budennaya et al 2020 на материале эталонного подкорпуса корпуса RUPEX было показано, что изобразительные жесты чаще других встречаются с клаузами с нулевой референцией (χ-square, p-value < 0.005), а указательные жесты, наоборот, тяготеют к местоимениям. Это исследование показывает, что из сочетания вербального и жестового выражения можно сделать предположение о свойствах самих жестов как показателя степени активации референта в рассказе: изобразительные жесты показывают действия активированного референта, а указательные, как можно предположить, скорее средство активации и перевода такого референта из доступного в протагонисты.…”