Portuguese Man-of-War Image Classification with Convolutional Neural Networks

Abstract

Portuguese man-of-war (PMW) is a gelatinous organism with long tentacles capable of causing severe burns, thus leading to negative impacts on human activities, such as tourism and fishing. There is a lack of information about the spatio-temporal dynamics of this species. Therefore, the use of alternative methods for collecting data can contribute to their monitoring. Given the widespread use of social networks, data present on the social media Instagram could represent a promising methodology for monitoring such species. This research aims to validate the use of convolutional neural networks for the Portuguese manof-war images classification allowing the automatation of the recognition of the Istagram records that contain this species. We created a suitable dataset, and we trained three different neural networks: VGG-16, ResNet50, and InceptionV3, with and without a pre-trained step with the ImageNet dataset. We analyzed the results of the different neural networks through the accuracy, precision, recall, and F1 score metrics. The pre-trained ResNet50 network presented the best results , obtaining 94% in the accuracy metric and 95% in the precision, recall, and F1 score metrics. Therefore, we point out that convolutional neural networks can be very effective for recognizing Portuguese man-of-war images from the social media Instagram.

Identificação de Ocorrências do Cnidário Physalia physalis em Dados Extraídos de Mídias Sociais

“…Treinamento de modelos de AM multimodal para identificar, por meio do texto e imagem, ocorrências de Physalia physalis. Para cumprir esta atividade o modelo obtido por [Carneiro et al 2022] será utilizado como extrator de características das imagens. A Tabela 2 apresenta as abordagens que serão utilizadas para treinamento dos modelos.…”

“…Em projetos utilizando visão computacional, a AT é largamente utilizada, principalmente para pequenos datasets. No projeto de [Carneiro et al 2022] essa foi a abordagem com melhor desempenho. Embora a literatura mostre sucesso na utilizac ¸ão de AT em tarefas de processamento de linguagem natural [Souza et al 2020], análises preliminares do texto (sec ¸ão 4) mostraram que modelos clássicos permanecem competitivos.…”

“…Um trabalho anterior relacionado ao projeto [Carneiro et al 2022] já avanc ¸ou no sentido de classificar as imagens das postagens como sendo ou não de Physalia physalis. Em seus experimentos, foi obtida uma acurácia de 0,94.…”