Bimodal Emotion Recognition Using Audio and Facial Features

Poorna, S. S.; Nair, Sruthi; Narayan, Arsha; Prasad, V Akshatha; Himaja, Parsi Sai; Kamath, Suraj S.; Nair, G. J.

doi:10.1166/jctn.2020.8649

Cited by 7 publications

(2 citation statements)

References 0 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…However, the continuous field annotation of sentiment labels in the dataset configuration requires a high cost, which seriously affects the efficiency of analysis. Reference [17] proposed a multimodal emotion recognition system based on speech and facial images.…”

Section: Related Researchmentioning

confidence: 99%

Sentiment Analysis of Student Texts Using the CNN-BiGRU-AT Model

Yan

Zhou

Qian

et al. 2021

Scientific Programming

View full text Add to dashboard Cite

For most current sentiment analysis models, it is difficult to capture the complex semantic and grammatical information in the text, and they are not fully applicable to the analysis of student sentiments. A novel student text sentiment analysis model using the convolutional neural network with the bidirectional gated recurrent unit and an attention mechanism, called CNN-BiGRU-AT model, is proposed. Firstly, the text is divided into multiple sentences, and the convolutional neural network (CNN) is used to extract n-gram information of different granularities from each sentence to construct a sentence-level feature representation. Then, the sentences are sequentially integrated through the bidirectional gated recurrent unit (BiGRU) to extract the contextual semantic information features of the text. Finally, an attention mechanism is added to the CNN-BiGRU model, and different learning weights are applied to the model by calculating the attention score. The top-down text features of “word-sentence-text” are input into the softmax classifier to realize sentiment classification. Based on the weibo_senti_100 k dataset, the proposed model is experimentally demonstrated. The results show that the accuracy rate and recall rate of its classification mostly exceed 0.9, and the F1 value is not lower than 0.8, which are better than the results of other models. The proposed model can provide a certain reference for the related students’ text sentiment analysis research.

show abstract

Section: Related Researchmentioning

confidence: 99%

Sentiment Analysis of Student Texts Using the CNN-BiGRU-AT Model

Yan

Zhou

Qian

et al. 2021

Scientific Programming

View full text Add to dashboard Cite

show abstract

“…Apesar de sua ampla utilização, ele ainda é passível de melhora, já que sua performance degrada consideravelmente na presença de ruído (SINGH;CHETTY, 2012;SHARMA;ALI, 2015). Mesmo assim, ele demonstra ser relevante em tarefas de análise de vídeo (IMRAN et al, 2019;POORNA et al, 2020;LIN et al, 2021;SHARAFI et al, 2022).…”

Section: Características Auraisunclassified

Operadores de fusão prévia para segmentação temporal de vídeo em cenas

Beserra¹

View full text Add to dashboard Cite

Técnicas de fusão prévia têm sido propostas em tarefas de análise multimídia como uma maneira de melhorar a eficácia ao gerar representações de dados mais compactas, expressivas e capazes de preservar a semântica presente nos dados. Os trabalhos recentes no domínio de vídeo digital empregam multimodalidade fazendo jus à natureza multimodal de um vídeo. Esse espaço heterogêneo, somado à dificuldade de se obter uma etapa de fusão prévia desacoplada e separável do restante do processamento, limita possíveis melhorias que poderiam ser alcançadas nas etapas isoladamente. Além disso, técnicas foram projetadas para problemas específicos, não podendo ser generalizadas, o que também as tornam inseparáveis da tarefa de análise de vídeo em questão. Motivado por esse cenário, este trabalho de mestrado propõe a aplicação dos operadores de fusão prévia, Soma, Máximo e Concatenação, que atuem no médio nível semântico, desacoplando o operador de qualquer tarefa específica e, ao mesmo tempo, com um custo computacional mais simples. Os operadores foram aplicados em duas bases de dados publicamente disponíveis da tarefa de Segmentação Temporal de Vídeo em Cenas. Os resultados atingidos competem com os do estado da arte com a vantagem de simplicidade computacional.

show abstract