Visual speech cues speed processing and reduce effort for children listening in quiet and noise

Abstract

Processing speech can be slow and effortful for children, especially in adverse listening conditions, such as the classroom. This can have detrimental effects on children’s academic achievement. We therefore asked whether primary school children’s speech processing could be made faster and less effortful via the presentation of visual speech cues (speaker’s facial movements), and whether any audio-visual benefit would be modulated by the presence of noise or by characteristics of individual participants. A phoneme monitoring task with concurrent pupillometry was used to measure 7- to 11-year-old children’s speech processing speed and effort, with and without visual cues, in both quiet and noise. Results demonstrated that visual cues to speech can facilitate children’s speech processing, but that these benefits may also be subject to variability according to children’s motivation. Children showed faster processing and reduced effort when visual cues were available, regardless of listening condition. However, examination of individual variability revealed that the reduction in effort was driven by the children who performed better on a measure of phoneme isolation (used to quantify how difficult they found the phoneme monitoring task).

Differences in the interplay of face and speech processing in 5-year-olds and adults

“…However, studies finding audio-visual benefits in adults used different experimental paradigms than we did. Typically, audio-visual benefits in adults are investigated by comparing speech processing in no-noise-conditions with noise conditions (Holt et al, 2020;Lalonde & McCreery, 2020;Lalonde & Werner, 2021) showing that adults' speech perception in noisy environments improves when they see the talker's face compared with having no visual speech cues (Grant & Seitz, 2000;MacLeod & Summerfield, 1987;Ross et al, 2007). This line of research indicates that interactions between face and speech processing still exist in adulthood, but they might be more present in ambiguous or environmentally challenging situations (Lalonde & Werner, 2021;McGurk & MacDonald, 1976;Yakel et al, 2000).…”

L’importance de la qualité de l’acoustique des lieux en regard de la persévérance et la réussite scolaires des élèves : une revue systématique des écrits

“…Mais elle peut également être mesurée par le degré de concentration dans l'exécution d'une tâche scolaire (p. ex. Holt et al, 2020).…”

“…Quatrièmement, six études ont examiné l'association négative de bruits ambiants (donc en lien avec une acoustique des lieux inadéquate) avec une moins bonne compréhension de phrases à l'oral (Bradlow et al, 2003), un temps de réponse plus long aux questions (Mealings et al, 2015), une production incorrecte de phonèmes (Riley et Gregor, 2012), une perception négative du bien-être (Scannell et al 2016 ;Skarlatos et Manatakis, 2003) et un taux de présence plus faible (Xie et al, 2011). Cinquièmement, une seule étude présente des résultats contrastant avec l'ensemble des 12 études citées précédemment : en présence de conditions acoustiques inadéquates, la concentration des élèves est plus élevée (Holt et al, 2020).…”

“…En somme, hormis les résultats des études de Kanerva et al (2019) et de Mealings et al (2015) où les résultats sont non significatifs, ains que ceux contrastant d 'Holt et al (2020), les résultats des études du tableau 1 font consensus malgré les tailles d'échantillon, l'ordre d'enseignement, les pays et les devis méthodologiques différents. L'H1 est donc confirmée : des conditions inadéquates de l'acoustique des lieux sont associées négativement à la persévérance et la réussite scolaires des élèves.…”