Deep Learning and Mel-spectrograms for Physica Violence Detection in Audio

Abstract

Há um crescente interesse em sistemas de detecção de violência de forma automática por meio do áudio ambiente. Neste trabalho, construímos e avaliamos 4 classificadores com essa proposta. Porém, em vez de processar diretamente os sinais de áudio, nós os convertemos para imagens, conhecidas como mel-spectrograms, e em seguida utilizamos Redes Neurais Convolucionais (CNN) para tratar como um problema de classificação de imagens utilizando-se de redes pre-treinadas neste contexto. Testou-se as arquiteturas Inception v3, VGG-16, MobileNet v2 e ResNet152 v2, tendo o classificador oriundo da arquitetura MobileNet obtido os melhores resultados de classificação, quando avaliado no HEAR Dataset, criado para a realização desta pesquisa.

Multi-Classificação de Cenários de Violência utilizando Extração de Atributos Acústicos e Redes Neurais Convolucionais

“…Em 2021, Lacerda et al [10] desenvolveu e avaliou quatro classificadores para a detecc ¸ão automática de violência no áudio ambiente. Em vez de processar diretamente os sinais de áudio, Redes Neurais Convolucionais (CNN) pré-treinadas foram utilizadas para classificar as imagens geradas a partir de mel-espectrogramas convertidos em imagens com a utilizac ¸ão do HEAR Dataset, um conjunto de dados criado especificamente para a pesquisa alcanc ¸ando uma acurácia de 78,9%.…”

“…1) HEAR Dataset: O HEAR Dataset é um conjunto de dados utilizado para a detecc ¸ão de violência em áudio, utilizado no estudo de Tiago Lacerda et al em 2021 [10]. Esse dataset contém 30 mil exemplos de áudios, com durac ¸ão fixa de dez segundos, que incluem eventos de agressão física, como socos e tapas, acompanhados de áudio de fundo.…”

“…A escolha dos modelos ResNet-152 e MobileNetV2 para este trabalho foi baseada em estudos anteriores como o de [9] que demonstraram sua eficácia em tarefas de classificac ¸ão de áudio e em particular, o estudo realizado por Lacerda [10] destacou a aplicac ¸ão dessas arquiteturas em um contexto semelhante ao deste trabalho.…”