Boosting Event Stream Super-Resolution with a Recurrent Neural Network

Event-Guided Image Super-Resolution Reconstruction

“…In [ 17 ], Han et al converted event data into potential intensity frames and reconstructed SR intensity images and high frame rate videos with higher dynamic range and less blurring artifacts by fusing potential frames with APS frames. Weng et al [ 32 ] proposed a recurrent neural network for event SR without the assistance of frames. They also demonstrated the feasibility of achieving event SR solely with pure events.…”

Spike-Based Vision for Autonomous Driving Scenarios

“…模拟数据 [65] 为利用现有图像数据集模拟生成的脉冲 数 据 ， 供 深 度 学 习 模 型 训 练 和 验 证 使 用 ， PKU-Spike-High-Speed [63] 面向自动驾驶场景的脉冲视觉研究 后，可使用循环网络优化超分结果 [77] 。后续研究 [78] 使用注意力机制代替光流计算，并加入可变形卷积 进行特征对齐，取得了更优的性能。新的超分辨率 框架 Spike-SRNet [79] ，采用可变性卷积与循环神经网 络结合，建模了脉冲时序上的长程相关性。Xiang 等 [80] 直接利用光流估计提取了相邻脉冲流之间的时 空相关性。另外，部分研究 [81,82] 将脉冲直接转换为 高空间分辨率的脉冲流，进而使重构、跟踪等视觉 任务均获得性能的提升。也有研究使用无监督方案 并利用对抗训练实现超分重建 [27] 。 3. 脉冲视觉高动态范围影像重建算法 普通相机受到传统成像原理的限制，其影像或 图片的动态范围十分有限。在使用普通摄影设备对 存在过暗、过亮部分的极端场景拍摄时，将会产生 欠曝和过曝效果，从而损失画面细节。在驾驶场景 中，因剧烈光线变化或环境光条件限制，车辆视觉 传感设备或因为拍摄细节损失而导致感知能力下 降。与传统相机相比，脉冲相机的连续积分采样原 理使其具有高动态范围的成像优势，这为解决在黑 暗等极端环境中的感知问题提供了有效工具 [26,83] 。 在连续脉冲流中，脉冲的稠密程度以及脉冲之间的 间隔可以直接反映场景的光强信息，对光线较强或 较暗部分均可进行较高质量地记录。利用简单 U-Net 网络及对抗训练获得可观效果。借助无监督域自适 应方案，可完成低光下增强 [83] 。利用注意力机制、 循环网络等深度学习算法也可以有效综合时域中的 高动态信息 [84,85] 。 (二)视觉传感器融合的重建算法研究 个模态信息 [62] 。此外，脉冲流的稠密时序提供了物 体运动方向的先验，可以通过脉冲流学习额外的运 动线索以对齐特征。运动估计也可以结合模糊一致 性和光度一致性实现自监督方案 [86] 。 在实际应用中，视频影像每帧的模糊程度是不 同的，且场景不一定总是存在模糊，这导致将模糊 程度一致的图像作为输入的方案失效。为此，可独 立设计模糊检测模块以驱动模型自动寻找序列中不 模糊的图像帧 [87] ，用以辅助训练网络。除了不同帧 直接的模糊程度不同之外，同一帧不同区域像素具 备不同模糊程度的情况 [88] 。后续研究继续将输入条…”