Higher-Order Occurrence Pooling for Bags-of-Words: Visual Concept Detection

Koniusz, Piotr; Yan, Fei; Gosselin, Philippe-Henri; Mikolajczyk, Krystian

doi:10.1109/tpami.2016.2545667

Cited by 103 publications

(159 citation statements)

References 48 publications

Supporting

Mentioning

156

Contrasting

Unclassified

Order By: Relevance

“…For example, visual phrases [103], [104], [105], [106] are generated among individual visual words to provide more strict matching criterion. Visual word cooccurrences in the entire image are estimated [107] and aggregated [108], while in [109], [110], [29] visual word clusters within local neighborhoods are discovered. Visual phrases can also be constructed from adjacent image patches [103], random spatial partitioning [106], and localized stable regions [29] such as MSER [28].…”

Section: Geometric Matchingmentioning

confidence: 99%

SIFT Meets CNN: A Decade Survey of Instance Retrieval

Zheng

Yang

Tian

2018

IEEE Trans. Pattern Anal. Mach. Intell.

655

319

View full text Add to dashboard Cite

Abstract-In the early days, content-based image retrieval (CBIR) was studied with global features. Since 2003, image retrieval based on local descriptors (de facto SIFT) has been extensively studied for over a decade due to the advantage of SIFT in dealing with image transformations. Recently, image representations based on the convolutional neural network (CNN) have attracted increasing interest in the community and demonstrated impressive performance. Given this time of rapid evolution, this article provides a comprehensive survey of instance retrieval over the last decade. Two broad categories, SIFT-based and CNN-based methods, are presented. For the former, according to the codebook size, we organize the literature into using large/medium-sized/small codebooks. For the latter, we discuss three lines of methods, i.e., using pre-trained or fine-tuned CNN models, and hybrid methods. The first two perform a single-pass of an image to the network, while the last category employs a patch-based feature extraction scheme. This survey presents milestones in modern instance retrieval, reviews a broad selection of previous works in different categories, and provides insights on the connection between SIFT and CNN-based methods. After analyzing and comparing retrieval performance of different categories on several datasets, we discuss promising directions towards generic and specialized instance retrieval.

show abstract

Section: Geometric Matchingmentioning

confidence: 99%

SIFT Meets CNN: A Decade Survey of Instance Retrieval

Zheng

Yang

Tian

2018

IEEE Trans. Pattern Anal. Mach. Intell.

655

319

View full text Add to dashboard Cite

show abstract

“…В данной работе в качестве метода представления данных был выбран Мешок слов (Bag of Words, BoW) [11]. Несмотря на то, что этот метод первоначально был создан для представления текстовых данных, он также был успешно использован в работах [7,8,12] для представления визуальных данных.…”

Section: метод представления данных: Bag Of Wordsunclassified

Action recognition on video using recurrent neural networks

Buyko¹,

Vinogradov²

2017

PSTA

View full text Add to dashboard Cite

Выявление действий на видео с помощью рекуррентных нейронных сетейАннотация. В настоящей работе рассмотрено применение методов ком-пьютерного зрения и рекуррентных нейронных сетей для решения задачи выявления и классификации действий на видео. В статье приводится описание подхода, применённого авторами для анализа видеофайлов. Рекуррентные нейронные сети выступают в каче-стве классификатора. На вход классификатору передаются мешки слов, которые являются гистограммами низкоуровневых действий. Гистограммы представляют собой наборы дескрипторов кадров видеофайлов. Для поис-ка дескрипторов на изображениях используются алгоритмы SIFT, ORB, BRISK, AKAZE.Ключевые слова и фразы: компьютерное зрение, дескрипторы, мешки слов глубинное обучение, рекуррентные нейронные сети, сети долгой краткосрочной памяти, анализ видео. ВведениеСтремительное развитие современных компьютерных техноло-гий привело к появлению мощных и доступных вычислительных устройств, позволяющих реализовывать и выполнять сложные алго-ритмы, требующие значительных вычислительных мощностей. Бла-годаря этому стала возможна практическая реализация различных методов искусственного интеллекта, в том числе -эффективных методов машинного обучения, позволяющих заменить человека в раз-личных сферах деятельности, требующих длительной монотонной обработки информации. Обратной стороной технического прогресса, в этом направлении, является стремительно возрастающий объём накапливаемой информации, из которой анализируется менее одного процента.Работа выполнена в рамках НИР «Исследование и разработка методов машинного обучения для обнаружения аномалий», номер гос. регистрации 0077-2016-0002.

show abstract

“…It is somehow satisfied with the classical inner product k(x, y) = x|y . Several authors [12,34,36,56] propose to increase the contrast between related and unrelated features with a monomial match kernel of degree p of the form…”

Section: Background: Match Kernels and Embeddingsmentioning

confidence: 99%

Rotation and translation covariant match kernels for image retrieval

Tolias

Bursuc

Furon

2015

Computer Vision and Image Understanding

View full text Add to dashboard Cite

International audienceMost image encodings achieve orientation invariance by aligning the patches to their dominant orientations and translation invariance by completely ignoring patch position or by max-pooling. Albeit successful, such choices introduce too much invariance because they do not guarantee that the patches are rotated or translated consistently. In this paper, we propose a geometric-aware aggregation strategy, which jointly encodes the local descriptors together with their patch dominant angle or location. The geometric attributes are encoded in a continuous manner by leveraging explicit feature maps. Our technique is compatible with generic match kernel formulation and can be employed along with several popular encoding methods, in particular Bag-of-Words, VLAD and the Fisher vector. The method is further combined with an efficient monomial embedding to provide a codebook-free method aggregating local descriptors into a single vector representation. Invariance is achieved by efficient similarity estimation of multiple rotations or translations, offered by a simple trigonometric polynomial. This strategy is effective for image search, as shown by experiments performed on standard benchmarks for image and particular object retrieval, namely Holidays and Oxford buildings

show abstract

Higher-Order Occurrence Pooling for Bags-of-Words: Visual Concept Detection

Cited by 103 publications

References 48 publications

SIFT Meets CNN: A Decade Survey of Instance Retrieval

SIFT Meets CNN: A Decade Survey of Instance Retrieval

Action recognition on video using recurrent neural networks

Rotation and translation covariant match kernels for image retrieval

Contact Info

Product

Resources

About