Automatic speech analysis to early detect functional cognitive decline in elderly population

Ambrosini, Emilia; Caielli, M.; Milis, Marios; Loizou, Christos P.; Azzolino, Domenico; Damanti, Sarah; Bertagnoli, Laura; Cesari, Matteo; Moccia, Sara; Cid, Manuel Sánchez; Isla, C. Galan de; Salamanca, P.; Borghese, N. Alberto; Ferrante, Simona

doi:10.1109/embc.2019.8856768

Cited by 25 publications

(13 citation statements)

References 20 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…O presente estudo revisou temas consideráveis para a fonoaudiologia nos aspectos terapêuticos evolutivos da música no âmbito da melhora na comunicação, fala espontânea, linguagem, cognição e prosódia [2][3][4][5] . A tríade fonoaudiologia/ música/ neurociência, fundamenta uma importante abordagem de estimulação nos casos de pacientes acometidos por doenças neurodegenerativas, ou simplesmente para a população adulta e idosa, considerando o processo progressivo da senescência natural.…”

Section: Discussionunclassified

See 1 more Smart Citation

Efeitos da música na comunicação do idoso: panorama das pesquisas brasileiras

et al. 2021

View full text Add to dashboard Cite

Introdução: A fonoterapia pode auxiliar na comunicação de quadros neurológicos, como Acidente Vascular Cerebral, Alzheimer, Parkinson, Esclerose Lateral Amiotrófica e Demências, podendo ser potencializada com a utilização de música associada. Objetivo: Investigar os efeitos da música na comunicação do idoso, baseado nos achados brasileiros. Métodos: A revisão bibliográfica foi estabelecida a partir de buscas realizadas nas bases de dados Google Acadêmico e Portal Regional Virtual Health Library, por meio dos cruzamentos dos seguintes descritores música, idoso e reabilitação. Resultados: As referências pesquisadas expressaram dentre os efeitos na comunicação, a melhora na sequencialização, verbalização, atenção, entonação, prosódia, e a estimulação neuronal, melhorando lateralização, sequência lógica, espaço temporal e memória. Verificou-se também a utilização de métodos como a terapia de entonação melódica, como instrumento de potencialização das habilidades comunicativas comportamentais e consideráveis ativações neuronais. Conclusão: Foi possível verificar que a música traz benefícios nas terapias fonoaudiológicas, em relação à reabilitação na comunicação, canto, fala, linguagem, melhora a prosódia, estimula a memória e a aprendizagem. Sugere-se que futuros estudos busquem padronizar protocolos para o acompanhamento a curto e longo prazo desses possíveis efeitos.

show abstract

Section: Discussionunclassified

“…A voz do idoso e as funções corporais sofrem um declínio por volta de 65 anos. Na senescência, ocorrem alterações naturais fisiológicas e, com o passar dos anos, como consequência, o idoso enfrenta uma série de fatores que desencadeia alterações na qualidade de vida, com diminuição das habilidades em se comunicar, falar, cantar, ouvir, deglutir 2 .…”

unclassified

Efeitos da música na comunicação do idoso: panorama das pesquisas brasileiras

et al. 2021

View full text Add to dashboard Cite

show abstract

“…The proposed methodology can be coupled with a pose-estimation framework [12], and other base autonomies (i.e., the tooth brushing) could be investigated. In addition to the gestural functions, the pitch of the voice could also be analyzed to assess communication skills [13]. Moreover, all the computeraided solutions, relevant to the monitoring of the child with autism, could be included in a single framework, to fully support the operators during their actual practice [14].…”

Section: Discussionmentioning

confidence: 99%

Evaluating the autonomy of children with autism spectrum disorder in washing hands: a deep-learning approach

Berardini

Migliorelli

Moccia

et al. 2020

2020 IEEE Symposium on Computers and Communications (ISCC)

View full text Add to dashboard Cite

Monitoring children with Autism Spectrum Disorder (ASD) during the execution of the Applied Behaviour Analysis (ABA) program is crucial to assess the progresses while performing actions. Despite its importance, this monitoring procedure still relies on ABA operators' visual observation and manual annotation of the significant events. In this work a deep learning (DL) based approach has been proposed to evaluate the autonomy of children with ASD while performing the handwashing task. The goal of the algorithm is the automatic detection of RGB frames in which the ASD child washes his/her hands autonomously (no-aid frames) or is supported by the operator (aid frames). The proposed approach relies on a pre-trained VGG16 convolutional network (CNN) modified to fulfill the binary classification task. The performance of the fine-tuned VGG16 was compared against that of other CNN architectures. The fine-tuned VGG16 achieved the best performance with a recall of 0.92 and 0.89 for the no-aid and aid class, respectively. These results prompt the possibility of translating the presented methodology into the actual monitoring practice. The integration of the presented tool with other computer-aided monitoring systems into a single framework, will provide fully support to ABA operators during the therapy session.

show abstract

“…Weiner et al [5] used a Linear Discriminant Analysis (LDA) classifier with a set of acoustic features including the mean of silent segments, silence durations, and silence-to-speech ratio to differentiate subjects with AD from the control group, achieving an 85.7% AD binary classification. Ambrosini et al [6] used selected acoustic features (pitch, voice breaks, shimmer, speech rate, syllable duration) to detect mild cognitive impairment from a spontaneous speech task.…”

Section: Introductionmentioning

confidence: 99%

Alzheimer’s Dementia Recognition Using Acoustic, Lexical, Disfluency and Speech Pause Features Robust to Noisy Inputs

Rohanian¹,

Hough

Purver

2021

Interspeech 2021

View full text Add to dashboard Cite

We present two multimodal fusion-based deep learning models that consume ASR transcribed speech and acoustic data simultaneously to classify whether a speaker in a structured diagnostic task has Alzheimer's Disease and to what degree, evaluating the ADReSSo challenge 2021 data. Our best model, a BiLSTM with highway layers using words, word probabilities, disfluency features, pause information, and a variety of acoustic features, achieves an accuracy of 84% and RSME error prediction of 4.26 on MMSE cognitive scores. While predicting cognitive decline is more challenging, our models show improvement using the multimodal approach and word probabilities, disfluency, and pause information over word-only models. We show considerable gains for AD classification using multimodal fusion and gating, which can effectively deal with noisy inputs from acoustic features and ASR hypotheses.

show abstract

Automatic speech analysis to early detect functional cognitive decline in elderly population

Cited by 25 publications

References 20 publications

Efeitos da música na comunicação do idoso: panorama das pesquisas brasileiras

Efeitos da música na comunicação do idoso: panorama das pesquisas brasileiras

Evaluating the autonomy of children with autism spectrum disorder in washing hands: a deep-learning approach

Alzheimer’s Dementia Recognition Using Acoustic, Lexical, Disfluency and Speech Pause Features Robust to Noisy Inputs

Contact Info

Product

Resources

About

Automatic speech analysis to early detect functional cognitive decline in elderly population

Cited by 25 publications

References 20 publications

Efeitos da música na comunicação do idoso: panorama das pesquisas brasileiras

Efeitos da música na comunicação do idoso: panorama das pesquisas brasileiras

Evaluating the autonomy of children with autism spectrum disorder in washing hands: a deep-learning approach

Alzheimer&#8217;s Dementia Recognition Using Acoustic, Lexical, Disfluency and Speech Pause Features Robust to Noisy Inputs

Contact Info

Product

Resources

About

Alzheimer’s Dementia Recognition Using Acoustic, Lexical, Disfluency and Speech Pause Features Robust to Noisy Inputs