Acoustic classification of multiple simultaneous bird species: A multi-instance multi-label approach

Abstract

Although field-collected recordings typically contain multiple simultaneously vocalizing birds of different species, acoustic species classification in this setting has received little study so far. This work formulates the problem of classifying the set of species present in an audio recording using the multi-instance multi-label (MIML) framework for machine learning, and proposes a MIML bag generator for audio, i.e., an algorithm which transforms an input audio signal into a bag-of-instances representation suitable for use with MIML classifiers. The proposed representation uses a 2D time-frequency segmentation of the audio signal, which can separate bird sounds that overlap in time. Experiments using audio data containing 13 species collected with unattended omnidirectional microphones in the H. J. Andrews Experimental Forest demonstrate that the proposed methods achieve high accuracy (96.1% true positives/negatives). Automated detection of bird species occurrence using MIML has many potential applications, particularly in long-term monitoring of remote sites, species distribution modeling, and conservation planning.

Species-specific audio detection: a comparison of three template-based detection algorithms using random forests

“…In addition, we will pursue other approaches, such as multi-label learning (Xie et al, 2016;Zhang et al, 2016;Briggs et al, 2012).…”

Reconocimiento automatizado de señales bioacústicas: Una revisión de métodos y aplicaciones

“…Algunos de los tratamientos que se suelen realizar son: filtrado (atenuación del ruido), normalización (estandarización de la intensidad de la señal de las grabaciones) y submuestreo (reducción de la cantidad de datos disminuyendo la frecuencia de muestreo). En los siguientes trabajos se describen algunos ejemplos de preprocesamiento: en [35] se submuestrean las señales a 8kHz y se normalizan en amplitud; en [30] se usa un algoritmo de extracción de señales de ruido de fondo que consiste en la aplicación de filtros en donde el umbral se ajusta dependiendo de la banda de frecuencia, considerando que el nivel de ruido de fondo no es el mismo en cada una de ellas; en [41] se normalizan los valores en el espectrograma y se aplica un filtro para aumentar el 2 Problema de clasificación con dos clases en donde los objetos pueden pertenecer a una clase denominada como clase positiva u objetivo o a otra denominada como negativa o no objetivo.…”

“…Las vocalizaciones de algunos animales se han jerarquizado, por ejemplo en las aves, éstas se dividen en cuatro niveles: notas, sílabas, frases y cantos [42]; en la literatura se encuentran varios trabajos orientados a la clasificación de sílabas [4], [32], [35], [37], [42], [43]. Los métodos de segmentación más básicos están diseñados para detectar las regiones con mayor energía [44], sin embargo, en otros mé-todos más elaborados se busca detectar trayectorias características en las representaciones tiempo-frecuencia [37], [41], [45].…”

“…En los problemas de clasificación de datos bioacústicos, frecuentemente se tiene una alta detección de falsos positivos [40]. En el caso de problemas multietiqueta -en donde un objeto puede pertenecer a varias clases-por ejemplo, en problemas de etiquetado de grabaciones, donde cada una de ellas puede contener vocalizaciones de diferentes especies, existen medidas especiales de estimación del desempeño, como Hamming loss, Rank loss, One-error, cobertura y Micro-AUC [41].…”

How Is a Data-Driven Approach Better than Random Choice in Label Space Division for Multi-Label Classification?

“…The image dataset scene [22] semantically indexes still scenes annotated with any of the following categories: beach, fall-foliage, field, mountain, sunset and urban. The birds dataset [23] represents a problem of matching bird voice recordings' extracted features with a subset of 19 bird species that are present in the recording; each label represents one species. This dataset was introduced [24] during the The 9th Annual MLSP competition.…”