EvRT-DETR:面向事件视觉的图像检测器潜在空间适配
EvRT-DETR: Latent space adaptation of image detectors for event-based vision
基于摘要分析。本文研究事件相机(EBC)的目标检测,针对事件数据稀疏、异步且现有方法常依赖复杂表示与专用架构的问题,提出 I2EvDet(Image-to-Event Detection)适配框架,将通用图像检测器用于时序事件数据。主要贡献是通过少量架构增量适配冻结的潜在表示空间,得到 EvRT-DETR,而非提出 EEG 或 BCI 方法。 技术路径分为两步:首先,将事件数据构造成简单的类图像表示,并训练 RT-DETR;作者报告,这一路径可达到与专用事件检测方法相当的性能。随后,通过适配冻结的潜在表示空间,将图像检测器转换为事件检测模型。摘要未说明事件表示的具体构造、增量模块结构、时序信息如何进入模型、损失函数及训练流程,不能据此认定其使用状态空间模型。 作者报告,EvRT-DETR 在标准事件检测基准 Gen1 和 1Mpx/Gen4 上达到其所称的 SOTA,分别给出 mAP +2.3 和 mAP +1.4。摘要未明确这些增量对应的对照方法、mAP 计算协议与数值单位,因此不能直接解释为相对百分比或百分点,也不能跨基准比较。数据划分、输入时间窗口、预训练来源、计算开销、消融及统计信息尚未验证;作者所称的效率优势仍需结合正文核对。 平台推测(待验证):可供 EEG 研究借鉴的假设是,冻结基础表示并只训练小型适配模块,可能降低小数据条件下的适配成本;这不意味着图像检测器可直接用于 EEG。原方法依赖事件相机的空间结构与时序数据,迁移时需重新设计 EEG 的通道与时间表示,以及分类或事件识别任务头。低信噪比、跨被试差异、通道布局变化和图像预训练表示失配均可能使适配失效。一个可证伪的小实验是在固定跨被试划分下,比较 EEG 预训练编码器的冻结线性头、冻结编码器加小型适配模块与全量微调,统一输入、训练预算和评价指标,以检验适配模块是否提供稳定增益。这仅检验适配思想,不构成对 EvRT-DETR 的直接复现;已有 EEG 相关工作尚未检索确认。
值得核对的是作者如何以少量架构增量适配冻结的图像检测器潜在表示,以及这种适配相对简单事件图像表示和专用事件检测架构的收益;其对 EEG/BCI 的价值尚未验证。
来源:OpenReview · State space models · openreview.net