Learning and Representing Object Shape Through an Array of Orientation Columns

Abstract

Recognizing an object from its background is always a very challenging task for pattern recognition, especially when the size, pose, or illumination of the object or the background are changing. The most essential method of handling this classical problem is to learn and define the structure of an object using its topological or geometrical features and components. To create a data structure that can describe the spatial relationships of object components formally and join knowledge learning and applying in a seamless loop, a representation platform must be developed. This platform can serve as a shared workspace not only for learning but also for recognition. In this paper, the platform is established by simulating the primary functional modules in the biological primary visual cortex (V1). V1 is located at the middle level of the visual information processing system. As the conjunction of low-level data and high-level knowledge, it performs visual processing for general purposes. Orientation columns in V1 are simulated in our platform, and an array of such columns is designed to represent the orientation features of edges in an image. With this platform, formalized prototypes are designed to represent each typical view of an object and thus the object concept. Data-and concept-driven processing can shift iteratively on this platform. The processes of acquiring knowledge of an object and applying that knowledge coincide with each other perfectly. The experimental results show that our algorithm can learn from a small training set and can recognize the same types of objects in natural background without any preliminary information. This bioinspired representation platform offers a promising prospect for the handling of semantic-concerned problems that need prior knowledge.

Shape feature representation by the multiscale model of CRF orientation selectivity

“…在计算机视觉领域， 现有的深度神经网络具有计 算量大、占用内存多、可解释性差等缺点，压缩模型 大小和减少网络深度是目前的解决途径之一 [1] 。有研 究者借助生理视觉原理， 对目标图像预先进行特征抽 取和表示，显著减少了深层网络的规模，降低了数据 的维度 [2] 。因此采用高效的特征表示方法是实现紧致 化视觉的重要途径之一。由于在变化的环境或姿态 下，图像的几何特征是恒定的，提取并利用图像稳定 的形状特征对提高视觉任务的鲁棒性有帮助。 现 有 的 特 征 提 取 方 法 如 形 状 上 下 文 (Shape Context, SC) [3] ， 三 角 形 区 域 表 示 (Triangle-area representation, TAR) [4] ，距离集(Distance Sets) [5] ，傅里 叶描述子(Fourier Descriptor, FD) [6] ，Hu 矩 [7] ，Zernike 矩 [8] 等，均使用轮廓点的分布关系表征形状，后续如 内 距 离 形 状 上 下 文 (Inner-distance Shape Context, IDSC) [9] 和高度函数(Height Function, HF) [10] 等算法在 SC 的基础上作了改进，但都需要匹配像素点对，这 将增加计算代价。认知学研究发现，人脑的识别过程 更关注形状的方位、曲率等中高级特征 [11] ，将形状的 中高级特征映射成二值编码， 用编码的距离度量相似 度，会使形状的匹配更加高效，且可解释性强。 基于中高级特征编码的形状描述子如词袋(Bag of Words, BoW) [12] ，曲率尺度空间(Curvature Scale Space, CSS) [13] ，以及编码角度 [14] 和轮廓段特征 [15] ， 几何表示更加明确，具有更好的可解释性。但是上述 方法在学习能力、计算时间、空间能耗上仍不能与人 视觉系统的优异识别性能相比， 并且特征反映的目标 形状与人的直观感受不完全一致， 编码特征的描述子 也无法迁移到仿生视觉的不同几何特征空间中。 超柱模型 [16] 借鉴视觉神经系统的优异性能，模 拟哺乳动物初级视皮层对朝向信息的选择性反应机 制来提取和表示图像中的线性或近似线性特征， 提高 了图像匹配的效率。 但受限于缺少有效的多特征融合 方法，现有超柱模型均未考虑朝向的强度和尺度信 息，故而无法表示丰富的轮廓信息。 本文基于超柱模型及其代表性算法线条上下文 (Line Context, LC) [16,17]…”

“…发现在视觉空间中央10  内的位置刺激会引发一个几 乎恒定大小的宽神经活动带 [18] ， 因此本文使用的朝向 间隔与超柱模型 [16] 保持一致，设置 n=19；由于人类 大脑皮层中"兴奋型-抑制型"突触的比例大约为 9:1， 表 1 各个线段代表的不同信息 Table 1 The parameter value of the segments in Fig. 1 1…”

“…究者借鉴人类视觉对不同尺度形状的敏感性， 提出依 赖于敏感曲线的加权平均融合策略 [19] (下称"经典尺 度融合策略")。但经典尺度融合策略对于所有目标 图像使用相同的敏感曲线(权重曲线)，未考虑目标图 像的差异， 更无法预测和筛选最适合目标图像的尺度 参数。 本文根据最优尺度与目标图像复杂度相关的事 实 [20] ，使用朝向矩阵稀疏性 [21] 对各尺度与目标图像 的符合程度进行预测，筛选出若干个最优尺度，然后 再利用敏感曲线进行特征融合(下称"最优尺度融合 策略")。 为了验证最优尺度预测和融合的效果， 本文对比 采用了此两种融合策略。 经典尺度融合策略 人眼在辨别图像时， 图像的整体轮廓特征一般在 远距离观察时获取， 而近距离观察主要获取的则为纹 理等局部细节特征， 这两种情况分别对应图像的宏观 尺度和微观尺度。基于人眼视觉的上述特征，在多尺 度融合时，宏观尺度下，对应的权重应偏大，微观尺 度应使用小的权重 [19] 。 一般情况下，选择图像的原始尺度(尺度标号记 特征的有效性，首先将本文算法与 LC [16] 、Hu 矩 [7] 、 Zernike 矩 [8] 、SC [3] 、FD [6] 和 Sift [23] 等传统算法在衡量 形状描述子可靠性的基准数据库 Kimia 数据集 [24] 上 进行了检索正确率的对比， 其次对比分析了最优融合 策略相对于传统尺度融合策略的优势， 最后在遮挡和 加噪声数据集上测试了算法的鲁棒性。 本文算法均表 现出明显优势。 其中 Kimia99 数据库由 9 类图像组成，每类有 11 个形状，共 99 个形状。Kimia216 数据库由 18 类 图像组成，每类有 12 个形状，共 216 个形状。检索 结果的评价采用 Bull-eye 度量方法 [25] 。 As a stable feature of the objects in images, the contour is one of the bases of invariant recognition, such as rotation, translation, and scale. Inspired by the orientation selectivity in the primary visual cortex, this paper extracts the orientation intensities in images by modeling the receptive field of visual neurons and proposes a shape feature representation strategy similar to brain perception.…”

A Visual Cortex-Inspired Imaging-Sensor Architecture and Its Application in Real-Time Processing

“…This array processes the image in a compound receptive field of all columns. The arrangement of receptive fields were introduced in [ 35 ].…”

Design and Simulation of a Hierarchical Parallel Distributed Processing Model for Orientation Selection Based on Primary Visual Cortex

“…For example, Salamat et al proposed a brain-like unsupervised clustering method based on hyperdimensional computing, which maps low-dimensional data to high-dimensional data for processing clusters [ 6 ]. Wei et al proposed computational models that simulate the structure of functional columns of the visual cortex and nonclassical receptive fields [ 7 , 8 , 9 , 10 ]. These studies show how to design computational models from a neuromorphic perspective with the potential of in-memory computing.…”