Detecção de cenas em segmentos semanticamente complexos

Abstract

Dedico esse trabalho a meus pais e à minha noiva, que sempre me apoiaram e ajudaram em todos os momentos. AgradecimentosAgradeço em primeiro lugar a Deus, por ter me iluminado durante todo o desenvolvimento do trabalho, dando a paciência e a inspiração necessária para sua realização.Agradeço também, a meu orientador, pelos infindáveis conselhos e por sua orientação sempre tão pertinente.Agradeço aos professores das matérias realizadas no mestrado, que certamente contribuíram beneficamente para a realização dessa pesquisa.Agradeço aos colegas e amigos do laboratório de pesquisa, que sempre me apoiaram e me deram forças nos momentos de desânimo.Agradeço ao CNPq pelo auxílio financeiro, processo n°134245/2011-3. Agradeço à FAPESP pelo auxílio financeiro, processo n°2011/05238-0, Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP). "As opiniões, hipóteses e conclusões ou recomendações expressas neste material são de responsabilidade do(s) autor(es) e não necessariamente refletem a visão da FAPESP". Resumo Diversas áreas da Computação (Personalização e Adaptação de Conteúdo, Recuperação de Informação, entre outras) se beneficiam da segmentação de vídeo em unidades menores de informação. A literatura apresenta diversos métodos e técnicas cujo objetivo é identificar essas unidades. Uma limitação é que tais técnicas não tratam o problema da detecção de cenas em segmentos semanticamente complexos, definidos como trechos de vídeo que apresentam mais de um assunto ou tema, e cuja semân-tica latente dificilmente pode ser determinada utilizando-se somente uma única mídia. Esses segmentos são muito relevantes, pois estão presentes em diversos domínios de vídeo, tais como filmes, noticiários e mesmo comerciais.A presente Dissertação de Mestrado propõe uma técnica de segmentação de vídeo capaz de identificar cenas em segmentos semanticamente complexos. Para isso utiliza a semântica latente alcançada com o uso de Bag of Visual Words para agrupar os segmentos de um vídeo. O agrupamento é baseado em multimodalidade, analisando-se características visuais e sonoras de cada vídeo e combinando-se os resultados por meio da estratégia fusão tardia. O presente trabalho demonstra a viabilidade técnica em reconhecer cenas em segmentos semanticamente complexos. The literature reports lots of techniques and methods, whose goal is to identify these units. One of these techniques' limitations is that they don't handle scene detection in semantically complex segments, which are defined as video snippets that present more than one subject or theme, whose latent semantics can hardly be determined using only one media. Those segments are very relevant, since they are present in multiple video domains as movies, news and even television commercials. This Master's dissertation proposes a video scene segmentation technique able to detect scenes in semantically complex segments. In order to achieve this goal it uses latent semantics extracted by the Bag of Visual Words to group a video segments. This grouping process is based on multimodalit...

Explorando uma abordagem de Fusão Multimodal para auxílio a Gestão de Desastres: um estudo de caso com tweets e dados contextuais

“…Quais as categorias de mídias que serão combinadas? O primeiro questionamento é referente ao nível da Fusão Multimodal, assim as possibilidades de combinação de dados midiáticos são: early fusion (na Língua Portuguesa é conhecida como Fusão Prévia), late fusion (na Língua Portuguesa é conhecida como Fusão Tardia) e hybrid fusion (na Língua Portuguesa é conhecida como Fusão Híbrida) (LOPES, 2015). Inclusive, essas categorias de Fusão Multimodal serão descritas em Subseção 2.3.1, Subseção 2.3.2, Subseção 2.3.3, respectivamente.…”

“…Já a segunda pergunta, de acordo com Lopes (2015) relaciona-se a escolha de uma metodologia adequada para a combinação das diferentes mídias, logo os métodos são classificados em: união das informações midiáticas através de regras (por exemplo, combinação linear); tratamento da problemática de fusão de características heterogêneas como um desafio de classificação de informações por intermédio de algoritmos de AM (por exemplo, Random Forest, Decision Tree, entre outros); por último, fusão dos dados multimodais com o intuito da realização de previsões dos resultados. Inclusive, neste trabalho foram empregadas as metodologias da primeira e segunda categoria.…”

“…O terceiro questionamento é referente a escolha do período adequado para a execução do processo de Fusão Multimodal, visto que o primeiro obstáculo que deve ser solucionado é referente as diferentes proporções de amostragens, ou seja, desbalanceamento da base de dados, já o segundo o desafio é referente a sincronização das diversas características de diferentes mídias (LOPES, 2015). Dessa forma, para a solução do primeiro obstáculo deste questionamento, necessita-se balancear as taxas de informações midiáticas (por exemplo, em problemas solucionáveis com classificação binária utiliza-se 50% dos dados negativos e 50% dos dados positivos para não enviesar o classificador) (FACELI et al, 2011).…”

“…Por último, a quarta pergunta é referente a escolha das características mais adequadas das informações midiáticas para o processo de Fusão Multimodal, pois características diferentes podem exibir dados divergentes (LOPES, 2015). Dessa forma, existem diversas maneiras de seleção dessas características, sendo que uma das alternativas mais comumente empregada em trabalhos encontrados na literatura é a busca pelos atributos mais utilizados em pesquisas correlatas, por exemplo, em trabalhos que combinam informações textuais e meteorológicas os dados dos sensores de precipitação e a quantia de chuva acumulada em um determinado intervalo de tempo são frequentemente utilizados (YERVA;JEUNG;ABERER, 2012;BRUIJN et al, 2020).…”

“…Segundo Lopes (2015), representar as características das mídias em formatos similares não é uma tarefa simples, pois os dados midiáticos se diferem quanto a suas propriedades. Além disso, de acordo com Lopes (2015) sincronizar diversas características de diferentes mídias é uma atividade computacionalmente complexa e combinar dados de uma maneira precoce onde a dinâmica intermodal é mais complexa, consequentemente propicia a ocorrência de overfitting no modelo gerado (BRUIJN et al, 2020).…”