Using the forward-backward divergence segmentation algorithm and a neural network to predict L2 speech fluency

Predicting speech fluency in children using automatic acoustic features

“…The FBDS algorithm detects significant changes in the trajectory of the signal energy over time (e.g., abrupt increases or decreases in signal energy) and, when applied to speech, results in a subphonemic segmentation of the input signal. To measure speech fluency, authors either used low-level predictors directly based on FBDS segments (e.g., number of FBDS speech segments per second as a measure of speech rate [8,9]) or predictors that required a clustering of FBDS segments into higher-level units such as silent breaks and pseudo-syllables [12] (e.g., pseudosyllable rate [13][14][15]).…”

Prediction of L2 speech proficiency based on multi-level linguistic features

“…Since the use of such systems has limitations, as they are dependent on the language for which the models have been trained, new methods have recently been developed to measure fluency more automatically and independently of the target language. For example, the algorithm presented by [8] can be mentioned, resulting from pilot work on the automatic assessment of phonetic fluency of Japanese learners of French in reading task [5,9]. This work relies on the forward-backward divergence segmentation method [10] based on the detection of breaks in the energy trajectory of the speech signal over time and allows, in addition, to compute variables from pseudo-syllables [11] and silent pauses, such as speech rate or percentage of speech.…”

“…The algorithm described in [8] was used to assess phonetic fluency. From the boundaries of the detected audio segments and their energy, the algorithm identifies pseudo-syllables and silent pauses.…”

Mesures automatiques de parole non-native : exploration pilote d’un corpus d’apprenants japonais de français et différenciation de niveaux

“…Étant donné que l'utilisation de tels systèmes connaît des limites, car ils sont dépendants de la langue pour laquelle leurs modèles ont été entraînés, de nouvelles méthodes ont été récemment développées pour mesurer la fluence de manière plus automatique et indépendamment de la langue cible. Nous pouvons citer par exemple l'algorithme présenté par (Fontan et al, 2020), issu de travaux pilotes portant sur l'évaluation automatique de la fluence phonétique d'apprenants japonais de français en tâche de lecture (Fontan et al, 2018;Detey et al, 2020). Ces travaux s'appuient sur la méthode de segmentation Forward-Backward Divergence Segmentation (André-Obrecht, 1988) basée sur la détection de ruptures dans la trajectoire de l'énergie du signal de parole au cours du temps et permettent, en outre, de calculer des variables à partir de pseudo-syllabes (Farinas & Pellegrino, 2001) et de pauses silencieuses, comme le débit de parole ou encore le pourcentage de parole.…”

“…Pour l'évaluation de la fluence phonétique, nous avons utilisé l'outil décrit en section 2 (Fontan et al, 2020). À partir des frontières des segments de signal audio détectés et de leur énergie, l'algorithme identifie des pseudo-syllabes et des pauses silencieuses.…”