Learning Self-Similarities for Action Recognition Using Conditional Random Fields

Abstract

Human action recognition is a complex process due to many factors, such as variation in speeds, postures, camera motions etc. Therefore an extensive amount of research is being undertaken to gracefully solve this problem. To this end, in this paper, we introduce the application of self-similarity surfaces for human action recognition. These surfaces were introduced by Shechtman & Irani (CVPR'07) in the context of matching similarities between images or videos. These surfaces are obtained by matching a small patch, centered at a pixel, to its larger surroundings, aiming to capture similarities of a patch to its neighborhood. Once these surfaces are computed, we propose to transform these surfaces into Histograms of Oriented Gradients (HoG), which are then used to train Conditional Random Fields (CRFs). Our novelty lies in recognizing the utility of these self-similarity surfaces for human action recognition. In addition, in contrast to Shechtman & Irani (CVPR'07), we compute only a few of these surfaces (two per frame) for our task. The proposed method does not rely on the structure recovery nor on the correspondence estimation, but makes only mild assumptions about the rough localization of a person in the frame. We demonstrate good results on a publicly available dataset and show that our results are comparable to other well-known works in this area.

The Human Brain Traverses a Common Activation-Pattern State Space Across Task and Rest

“…In particular, we used a state space characterization of dynamics previously used to gain insight into other real-world complex systems (Furusawa and Kaneko, 2012;Junejo, 2010). This involves conceptualizing each whole-brain image in time as a single point in a high-dimensional feature space.…”

Estimation of Basic Approaches for Home Automation System Based on Artificial Intelligence Development

“…Застосування розрізнювальних імовірнісночасових моделей при побудові нейромережевих алгоритмів домашньої автоматизації Основою задачею нейромережевих алгоритмів у рамках підготовки підсистем домашньої автоматизації є задача розпізнавання шаблонів, тобто класифікації вхідних даних у найбільш ймовірні вихідні значення на базі навчального набору залежно від статистичної варіації. На сьогоднішній день найбільш актуальними підходами є моделі глибинного аналізу даних [1; 2], алгоритми на базі чіткої логіки [3; 4] та імовірнісночасові моделі [5][6][7][8][9][10].…”

“…Аналіз наукових публікацій у фахових виданнях і статистичних результатів експериментальних досліджень, які були проведені згідно загальної теми домашньої автоматизації, пріоритет у цій області у таких засобів математичного моделювання як моделі глибинного аналізу даних (Data mining, DM) [1; 2], алгоритми на базі чіткої логіки (logic-based program, LBP) [3; 4] та ймовірнісно-часові моделі [5][6][7][8][9][10], зокрема наївна баєсівська модель [5; 6], прихована марковська модель [7; 8] і модель умовного випадкового поля [9; 10]. Також було розглянуто базові підходи, які включають у себе зазначені математичні моделі при оптимізації систем опалення, вентиляції та кондиціювання повітря (heating, ventilation, and air conditioning, HVAC) на рівні IoT [11][12][13][14][15][16][17].…”

Task-related multivariate activation states during task-free rest

“…In particular, we used a state space characterization of dynamics previously used to gain insight into other real-world complex systems (Junejo 2010;Furusawa and Kaneko 2012). This involves conceptualizing each whole-brain image in time as a single point in a high-dimensional feature space.…”