跳到正文
OpenReview · State space models· Yuhui Lin; Jiahao Zhang; Siyuan Li; Jimin Xiao; Ding Xu; Wenjun Wu; Jiaxuan Lu·· 2024-01-01精选AI 评分72

Event USKT:用于事件相机知识迁移的 U 形状态空间模型

Event USKT : U-State Space Model in Knowledge Transfer for Event Cameras

AI 导读

基于摘要分析。该研究针对事件相机数据有限、难以充分利用已有 RGB 预训练模型的问题,提出 U 形状态空间模型知识迁移框架 USKT。其核心贡献是生成与 RGB 帧兼容的输入,使事件数据能够复用 RGB 预训练模型,并引入采用共享权重策略的 Bidirectional Reverse State Space Model(BiR-SSM)。 机制上,摘要将 USKT 描述为 Event-to-RGB 知识迁移框架:通过输入兼容化连接事件数据与 RGB 模型,而非仅依赖事件数据训练新模型。BiR-SSM 与常规双向扫描机制的区别在于共享权重;作者认为该设计有助于高效建模并节省计算资源。具体事件表示、U 形结构、反向扫描方式、损失函数、冻结或调优的参数范围及推理成本尚未验证。 结果方面,作者报告,使用 ResNet50 作为骨干时,在 DVS128 Gesture、N-Caltech101 和 CIFAR-10-DVS 上的模型性能分别提升 0.95%、3.57% 和 2.9%。摘要未明确这些提升对应的指标、比较基线、数据划分,以及百分比是否表示相对增幅,因此不能将其改写为 Accuracy 的百分点提升,也不能跨数据集直接比较。实验协议、消融及统计信息尚未验证。材料称代码将在论文被接收后公开,当前代码可用性及接收状态均尚未验证。 平台推测(待验证):可迁移假设是,输入兼容化与共享权重双向建模可能帮助数据有限的 EEG 任务复用预训练表示。但事件视觉数据与 EEG 的通道语义、时间结构和噪声特征不同,RGB 输入兼容不等于保留 EEG 判别信息。可考察状态空间建模及参数共享模块,输入映射则需针对 EEG 改造;低信噪比、跨被试差异、通道布局变化与小样本训练可能使映射丢失有效信息或过拟合。一个可证伪的小实验是在固定跨被试划分、相同预训练骨干和调优预算下,对比简单 EEG 输入映射与 USKT 式映射,并以取消双向权重共享作为对照,检查性能与计算成本是否同时改善。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 USKT 如何将事件数据转换为 RGB 预训练模型可用的输入,以及 BiR-SSM 的共享权重机制能否在减少参数调优与计算开销的同时保留任务信息;其 EEG 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net