Video Segmentation Using Iterated Graph Cuts Based on Spatio-temporal Volumes

Abstract

Abstract. We present a novel approach to segmenting video using iterated graph cuts based on spatio-temporal volumes. We use the mean shift clustering algorithm to build the spatio-temporal volumes with different bandwidths from the input video. We compute the prior probability obtained by the likelihood from a color histogram and a distance transform using the segmentation results from graph cuts in the previous process, and set the probability as the t-link of the graph for the next process. The proposed method can segment regions of an object with a stepwise process from global to local segmentation by iterating the graph-cuts process with mean shift clustering using a different bandwidth. It is possible to reduce the number of nodes and edges to about 1/25 compared to the conventional method with the same segmentation rate.

Descritor local baseado na transformação SIFT para segmentação de vídeos via grafos.

“…6(b) e (d)). Retorna-se então a um problema de supervoxels [2,3], porém, com um decréscimo no esforço computacional e informações adicionais quanto ao padrão de movimento e vizinhança de superpixel As queixas quantoà instabilidade de uma segmentação quadro a quadro são relevantes [4], principalmente as promovidas pela watershed [18]. Entretanto, o foco deste trabalhó e a adaptação da SIFT para a criação de descritores locais diretamente no domínio dos grafos de regiões.…”

“…Os pixels de quadros sequenciais de um video podem ser analisados em unidades de volume (voxels), onde agrupamentos dão origem a supervoxels. Entretanto, a quantidade de dados gerados por um volume espaço-temporal de um vídeo demanda um grande esforço computacional [2,3]. Uma forma de reduzir o esforço computacional nesse tipo de abordagem,é a aplicação de uma segmentação hierárquica Departamento de Engenharia Elétrica, Universidade de Brasília, Brasília-DF, Brasil, E-mails: gustavo@image.unb.br, queiroz@ieee.org.…”

Fully Automatic Extraction of Salient Objects from Videos in Near Real Time

“…Evaluation result measured by recall, precision and F-measure published in the paper of Boykov et al[2] and Nagahashi et al[7], both of which are specialized for video segmentation with manually provided labels. This table indicates that our proposed method marked high segmentation accuracy comparable with the previously proposed semi-automatic segmentation methods.…”

Descritor local baseado no algoritmo SIFT para rastreamento e segmentação de objetos em vídeos via grafos de regiões

“…Quando se realiza um agrupamento em mais de um quadro simultaneamente, os pixels tomam formato de uma unidade espaço-temporal, unidades de volume conhecidas como voxels, que quando relacionados a um mesmo bloco de voxels, são chamados de supervoxels. Essa abordagem relaciona os pixels dentro de um quadro e de seus vizinhos, consequentemente A quantidade de dados gerados por um volume espaço-temporal de um vídeo, ao longo de um número pode demandar um grande esforço computacional, principalmente ao se analisar os elementos como volumes [2,3].…”

“…Ilustração para a determinação de regiões correspondentes entre duas imagens que tem regiões confrontadas com a aplicação do descritor proposto [1,4]. e[3,7] configuram pares de correspondência, pois formam um par recíproco na determinação do produto interno máximo no confronto de elementos da imagem V 1 com a V 2 e vice-versa.…”