面向事件驱动运动去模糊的尺度感知时空隐式表示学习
Learning Scale-Aware Spatio-temporal Implicit Representation for Event-based Motion Deblurring
基于摘要分析。该研究面向事件相机辅助的图像运动去模糊,针对现实中图像与事件流空间、时间尺度未知或不一致的问题,提出 Scale-Aware Spatio-temporal Network(SASNet),通过隐式聚合二者的时空对应特征,支持连续尺度下的图像恢复。 机制上,Spatial Implicit Representation Module(SIRM)通过事件编码采样,聚合任意分辨率下的空间相关性,主要针对局部严重模糊;Temporal Implicit Representation Module(TIRM)通过时间移位操作与长时聚合学习时间相关性,针对全局运动模糊。其研究重点是跨模态时空尺度适配,而非 EEG 解码。摘要未交代具体损失、监督方式、训练规模及连续尺度的实现细节。 作者还构建了 High-resolution Hybrid Deblur(H2D)数据集,使用新一代混合事件传感器采集多尺度图像及天然空间对齐、时间同步的事件。作者报告,在合成 GoPro 与真实 H2D 数据集的去模糊评估中,SASNet 优于所比较的现有先进方法,尤其适用于高速运动场景;摘要未提供指标数值、划分方式、具体基线及尺度外推范围,实验协议、消融及统计信息尚未验证。摘要提供了代码与数据集地址,其可用性及复现条件尚未核验。 平台推测(待验证):其时间相关性聚合机制可作为 EEG 跨采样率或跨时间尺度建模的候选思路,但原方法依赖图像与事件流的时空对应结构,不能直接等同于 EEG 的通道与时间结构。假设时间隐式表示有助于处理采样尺度变化,可复用时间聚合思路,需重构输入编码、通道表示与任务监督;低信噪比、跨被试差异及小数据可能使尺度变化与生理差异混淆。可在固定被试划分下,对同一 EEG 任务构造多种重采样条件,对照固定尺度模型与加入时间隐式表示的模型,检验未见采样率下的性能。相关 EEG 工作尚未检索确认。
值得关注其以空间与时间隐式表示处理图像—事件流尺度不匹配的机制,以及配套 H2D 数据集;作者报告的去模糊优势仍需结合全文协议核验,尚无 EEG/BCI 有效性证据。
来源:OpenReview · Representation learning · openreview.net