A Two-Layer Graphical Model for Combined Video Shot and Scene Boundary Detection

Abstract

In this work we present a novel two-layer hybrid Graphical model for combined shot and scene boundary detection in videos. In the first layer of the model, low-level features are used to detect shot boundaries. The shot layer is connected to a higher layer that detects scene or chapter boundaries from semantic features. With this structure, the model optimises the alignment for both layers at the same time and the detection results are interconnected. Experimental results on real video data show, that both layers highly benefit from this sharing of information. Compared to a baseline threshold method with the same features, the F-measure result for the shot detection has been improved by 12.6% absolute. For the scene boundary detection, the result has been improved by more than 11% absolute.

Segmentação de cenas em telejornais: uma abordagem multimodal

“…Mesmo não sendo iguais, há muita semelhança entre todas as apresentadas, havendo mudanças somente no acréscimo de uma camada na estrutura, seja entre as camadas de tomadas e cenas ou entre as camadas de cenas e o vídeo completo. No primeiro caso,é apresentada uma estrutura com uma camada Grupo que representa uma etapa responsável pelo agrupamento de segmentos de tomadas (Rui et al, 1998) (a) (Rui et al, 1998) (b) (Al-Hames et al, 2006) Figura 2.3: Outras representações para estrutura de vídeo digital Apesar do processo de análise de vídeo ser realizado de modo qualitativo, buscando resultados eficazes, Al-Hames et al (2006) faz uma análise quantitativa da estrutura, proporcionando uma idéia da quantidade de cada estrutura e da complexidade de trabalhar com vídeos digitais. As estimativas apresentadas nessa análise compreendem uma aproximação de vinte e cinco quadros por segundo, muitas centenas de tomadas por hora e cerca de cem cenas por hora.…”

Representação de tomadas como suporte à segmentação em cenas

“…No primeiro caso, é apresentada uma estrutura chamada Grupo, que representa uma etapa responsável pelo agrupamento de segmentos de tomadas (Rui et al, 1998). No segundo caso, é formada a camada Programa para representar possíveis episódios de uma série de TV, por exemplo (Al-Hames et al, 2006). Como o interesse deste trabalho são tomadas e cenas, as segmentações de vídeo nesses níveis hierárquicos são exploradas nas Seções 3.2 e 3.3.…”