A wide-field and high-resolution lensless compound eye microsystem for real-time target motion perception

Abstract

Optical measurement systems suffer from a fundamental tradeoff between the field of view (FOV), the resolution and the update rate. A compound eye has the advantages of a wide FOV, high update rate and high sensitivity to motion, providing inspiration for breaking through the constraint and realizing high-performance optical systems. However, most existing studies on artificial compound eyes are limited by complex structure and low resolution, and they focus on imaging instead of precise measurement. Here, a high-performance lensless compound eye microsystem is developed to realize target motion perception through precise and fast orientation measurement. The microsystem splices multiple sub-FOVs formed by long-focal subeyes, images targets distributed in a panoramic range into a single multiplexing image sensor, and codes the subeye aperture array for distinguishing the targets from different sub-FOVs. A wide-field and high resolution are simultaneously realized in a simple and easy-to-manufacture microelectromechanical system (MEMS) aperture array. Moreover, based on the electronic rolling shutter technique of the image sensor, a hyperframe update rate is achieved by the precise measurement of multiple time-shifted spots of one target. The microsystem achieves an orientation measurement accuracy of 0.0023° (3σ) in the x direction and 0.0028° (3σ) in the y direction in a cone FOV of 120° with an update rate ~20 times higher than the frame rate. This study provides a promising approach for achieving optical measurements with comprehensive high performance and may have great significance in various applications, such as vision-controlled directional navigation and high-dynamic target tracking, formation and obstacle avoidance of unmanned aerial vehicles.

Research advances in simple and compact optical imaging techniques

“…照明调制通过改变照明光源的位置、相干性和脉冲时间等特性实现场景编码， 包括投影成像、全息成像和时间分辨成像。 投影成像技术主要应用在显微领域。当来自光源的光透过样品投影到传感器 上，阴影图像则表示样品的图像 [54] 。为了减少衍射的影响，样品与传感器的距离 远小于样品与光源的距离 [55] ，传感器记录等比例的阴影图像。Lange 等人报道了 一种用于研究秀丽隐杆线虫的微型微流体投影成像设备，测量了线虫的活性与环 境温度间的函数关系 [54] 。Ozcan 等人展示了一种宽视场的投影成像设备，在传感 器上记录细胞的阴影图像，以监测和计数不同类型的细胞，其视场面积与像感器 面积相当，为 37.25 mm×25.70 mm，比常规光学显微镜的视场大两个数量级 [56] 。 为了突破大像素尺寸导致的空间分辨率受限问题，对流经传感器的样品进行时间 维度上的冗余信息采集，实现亚像素分辨率成像。Cui 等人通过在传感器上制作 亚微米金属孔径阵列实现了片上光流体高分辨率显微成像。在实验中，当运动的 样品与孔径阵列产生相对位移时，孔径阵列下方的探测器接收到的光强发生变化。 通过光强信息可还原出样品不同位置的透射率，进而获取样品的高分辨率图像， 如图 7(a)所示 [57] 。Zheng 等人采用像素超分辨算法，从一组低分辨率的图像中重 建出了亚微米分辨率的图像，取得 0.75 μm 的极限分辨率，超过了像感器像素尺 寸 3.2 μm 的限制 [58] 。 无透镜全息成像技术使用相干光源或部分相干光源在传感器获得衍射图像 [59] 。与投影成像技术类似，该技术也主要应用在显微领域。不同的是，无透镜全 息成像技术记录的是复杂的光场信息，需要进行图像重建，且重建图像的保真度 高于投影成像技术。一种常用的重建方法是把测量图案看作相干衍射图案，采用 相位恢复算法得到样品的相位和振幅信息。Luo 等人通过在不同角度照明下的多 次测量提供约束信息，经过物平面和测量平面之间的不断迭代，重建了生物组织 切片的图像，如图 7(b)所示 [60] 。 时间分辨无透镜成像通过记录光在光路中的反射时间差进行成像，需要使用 脉冲光源和时间分辨传感器。Kirmani 等人通过模拟展示了使用脉冲光源和小阵 列时间分辨传感器的无透镜成像 [61] 。Wu 等人在实验上使用条纹相机搭建了时间 分辨无透镜成像系统，并使用迭代算法重建了图像 [62] 。Satat 等人提出了一种时 间分辨无透镜成像框架，提供了一种优化传感器位置和照明模式的算法，并使用 压缩感知原理进行重建 [63] 。目前时间分辨无透镜成像对硬件要求较高，大大限制 了这项技术的发展。 图7 照明调制 (a)片上光流体显微成像示意图和装置顶视图 [57] ；(b)基于多角度照明的合成孔 径无透镜显微成像装置 [60] 质量的方法，即采用联合去噪和去模糊的图像复原处理流程 [64] 。该流程结合了基 于光学点扩散函数的低通滤波和基于深度学习的去噪网络，在生成对抗网络中进 行共同训练，实现了高分辨率静态图像和高分辨率视频的重建。 除了通过改进图像复原算法提升信噪比之外，研究人员采用包含多个通光孔 的模板代替小孔，发展了编码孔径成像，不仅可以通过增大透光面积提高通光量 和信噪比，还可以大幅减薄成像系统的外形尺寸。常用的各式掩膜包括波带片编 码掩膜 [65] 、随机孔径阵列 [66] 、均匀冗余阵列(URA) [67] 以及改进的均匀冗余阵 列(MURA) [68] 等。由于 MURA 受到逆问题的不适定性和衍射效应的影响， DeWeert 等人提出 Doubly-Toeplitz 掩膜，其衍射的点扩散函数具有可分离特性， 对宽谱成像有更强的鲁棒性 [69] 。Asif 等人设计了 FlatCam 相机，将具有 50%透过 率的二进制掩膜板紧贴放在图像传感器前方~0.5 mm 处，其点扩散函数即为掩膜 板的投影 [70] 。可分离的掩膜板能够简化成像模型，降低系统标定和图像复原中的 计算复杂度。Adams 等人提出 FlatScope 无透镜显微镜，将掩膜板放置于图像传 感器前方 0.2 mm 处，成像视场面积可达 6.52 mm 2 ，而具有相同传感器尺寸的传 统透镜显微镜成像视场面积仅为 0.41 mm 2 ，该系统还可实现微米级分辨率、高帧 率的三维荧光成像 [71] 。Tajima 和 Shimano 等人提出基于菲涅耳孔径(FZA)的振 幅掩膜，与图像传感器间隔约几毫米，利用条纹扫描的方式抑制重影效应，通过 快速傅里叶变换(FFT)重建图像，实现了数字重聚焦的功能 [72,73] 。为了消除 FZA 编码成像中的孪生像问题，清华大学的 Wu 等人根据孪生像和原始图像在梯度域 的稀疏性差异，构建了全变差正则化下的菲涅耳编码孔径成像重建模型，减小了 孪生像噪声的影响，提高了成像信噪比 [74] 。Zhang 等人将平面编码的孔径阵列和 图像传感器集成，制作了无透镜复眼微系统，整体尺寸仅为 32 mm×36 mm×28.3 mm，可实现高分辨率、大视场和高帧率的运动目标实时感知 [75] 。 相位型掩膜调制通过物理光学原理调制光的相位，几乎不遮挡或衰减光线， 有效地解决了振幅型掩膜调制中光通量较低、图像信噪比不高的问题。常见的相 位型掩膜包括相位光栅、扩散器和衍射光学元件。 相位光栅的周期结构能够对入...…”

“…Berkeley提出DiffuserCam [78] ，日立公司提出基于菲涅耳孔径的振幅掩膜 [73] ；2020年清华大学 提出菲涅耳孔径编码 [74] ，UC Berkeley提出用于光谱成像的散射介质相机 [79] ，Rice大学提出基 于相位掩膜的PhlatCam [82] ；2021年KAIST提出用于光谱深度成像的DOE [85] ；2022年清华大学 提出无透镜复眼微系统 [75] Fig 2.3 超构透镜成像系统 超构表面是一种由亚波长尺度单元按特定空间排布的结构，具有体积小、重 量轻、易集成、易共形的特点，能够对电磁波的振幅、相位等特性进行灵活有效 的调控 [88] 。通过对电磁波相位的调控，可以任意地控制电磁波波前的形状，从而 满足实际应用的需求，是简单光学系统的理想选择 [89] 。超构表面的设计首先需要 计算出符合需求的目标相位轮廓，并建立纳米结构与相位的关系库，再选择与目 标相位轮廓匹配的纳米结构 [90] 。其中，相位调控是超构透镜设计中的关键步骤， 其原理包括：共振相位 [91,92] 、传播相位 [93,94] 、几何相位 [95][96][97][98][99]…”

“…Venkataraman 等人提出一种超薄高性能单片相机阵列 PiCam，可捕获光场并通过 集成视差检测和超分辨获得高分辨率图像和场景深度图 [174] 。Wu 等人提出了一种 集成扫描光场成像传感器，通过振动编码微透镜阵列捕捉超精细的四维光场分布， 可以实现高分辨成像和三维摄影 [16] 。Hu 等人提出一个微型光电集成的复眼相机， 可实现大视场空间成像、运动目标的位置识别和敏感轨迹监测 [163] 。Zhang 等人提 出了无透镜复眼微系统，将长焦子眼形成的多个子视场拼接在一起，将全景范围 内的图像目标成像在单一的多路复用图像传感器上，采用微机电系统孔径阵列实 现了宽视场和高分辨成像 [75] 。 4.3 大视场成像 自然界中的昆虫复眼具有大视场、高灵敏度等优点，因此基于仿生学的微透 镜阵列在实现高分辨率成像的同时也可以实现大视场成像。Hu 等人提出的微型 光电集成复眼相机的视场可达 90° [ 163] ，Zhang 等人提出的无透镜复眼微系统具有 120°的圆锥视场 [75] 。鱼眼镜头也是一种超大视场、大孔径的光学成像系统，Zhang 等人采用平面多口径鱼眼，在入瞳附近放置基于超构光栅的偏转板以扩大视场， 仅使用两个平面光学元件就实现了±80°的视场 [175] 。为了进一步减小成像系统 的尺寸，Toulouse 等人提出了自由曲面多孔径广角相机的概念，将视场分成几个 孔径，设计出扁平外形的 180°×360°相机 [164] 。Nakamura 等人设计了一种基于掩 41 膜的无透镜相机，其理论成像视场角可达 180° [ 176] 。基于超构透镜灵活高效的光 场调控能力，Chen 等人利用氮化硅超构透镜阵列制作超广角相机，经过拼接处 理后可实现超过 120°的大视场成像 [108] 。此外，Li 等人提出一种端到端的单镜头 成像系统设计方法，并成功研制了一个在可见光波段具有 47°宽视场单镜头成像…”

An All-Day Attitude Sensor Integrating Stars and Sun Measurement Based on Extended Pixel Response of CMOS APS Imager

“…The difference in intensity between the sun and stars is huge, which can span a super-wide range of more than 10 11 times. Therefore, it is difficult to realize the integration of the star sensor and the sun sensor with one optical system [27]- [29]. In addition, for conventional camera-based sun sensors, the extremely strong light leads to blooming phenomenon or other artifacts on the image [30].…”

A synergistic biomimetic optical structure for household health monitoring

“…[1][2][3] Insects, for example, have compound eyes, which help them acquire high-resolution images rapidly when the illumination level is low. [4][5][6][7][8][9] The re ective layers in the eyes of felines help improve their vision at night. [10][11] Certain optical structures in some plants help improve the e ciency with which sunlight is used and thus increase the photosynthesis rate.…”