Using Boundary Conditions for Combining Multiple Descriptors in Similarity Based Queries

Abstract

Queries dealing with complex data, such as images, face semantic problems that might compromise results quality. Such problems have their source on the differences found between the semantic interpretation of the data and their low level machine code representation. The descriptors utilized in such representation translate intrinsic characteristics of the data (usually color, shape and texture) into qualifying attributes. Different descriptors represent different intrinsic characteristics that can get different aspects of the data while processing a similarity comparison among them. Therefore, the use of multiple descriptors tends to improve data separation and categorization, if compared to the use of a single descriptor. Another relevant fact is that some specific intrinsic characteristics are essential for identifying a subset of the data. Based on such premises, this work proposes the use of boundary conditions to identify image subsets and then use the best descriptor combination for each of these subsets aimed at decreasing the existing "semantic gap". Throughout the conducted experiments, the use of the proposed technique had better results when compared to individual descriptor use (employing the same boundary conditions) and to various descriptors combination without the use of boundary conditions.

Speeding up the combination of multiple descriptors for different boundary conditions

“…Nesta seção é discutido e detalhado o trabalho correlato apresentado em [13], que propôs o uso de condições de contorno para delimitar subconjuntos de imagens, para em seguida determinar o balanceamento de múltiplos descritores de forma a usar combinação ideal para cada uma desses subconjuntos de imagens nas consultas por similaridade.…”

“…Nos experimentos apresentados em [13], as combinações foram definidas utilizando um algoritmo de busca exaustiva pela melhor combinação linear dentre um conjuntos de pesos pré-determinados, que variavam ente 1/10 e 10, garantindo assim o balanceamento ideal para a combinação linear para cada 2). Esta condição de contorno é utilizada para identificar (ou estimar) a qual subconjunto a imagem de referência pertence e então utilizar a combinação de múltiplos descritores que melhor a evidencie do restante do conjunto, de acordo com a tabela T resultante da fase de treinamento.…”

“…Conforme jé discutido nesta seção, em [13] foi utilizado um algoritmo de busca exaustiva pela definição da melhor combinação linear para cada condição de contorno. Porém, tal estratégia é proibitiva do ponto de vista do custo computacional, pois são testadas todas as combinações possíveis de pesos para os descritores.…”

“…Os algoritmos de busca exaustiva para combinação linear utilizados em [13] testam todas as combinações possíveis (a partir de uma quantidade determinada de possíveis pesos) a fim de encontrar a melhor combinação linear entre os descritores. O extenso espaço de busca torna o processo bastante custoso computacionalmente, com um crescimento exponencial de acordo com o número de descritores utilizados.…”

“…Em [13] foi proposta a utilização de condições de contorno para delimitar subconjuntos de imagens e então utilizar a melhor combinação de descritores para cada um desses subconjuntos, visando a diminuição no gap semântico. Para encontrar a melhor combinação linear de descritores para cada condição de contorno foram utilizados algoritmos de busca exaustiva.…”