跳到正文
OpenReview · State space models· Jiazhou Zhou; Kanghao Chen; Lei Zhang; Lin Wang·· 2024-01-01精选AI 评分76

面向任意时长事件识别的路径自适应时空状态空间模型

Path-adaptive Spatio-Temporal State Space Model for Event-based Recognition with Arbitrary Duration

AI 导读

基于摘要分析。本文研究事件相机的物体/动作识别,针对固定时间间隔聚合事件的方法难以建模较长事件序列、适应不同推理频率的问题,提出 PAST-SSM。其贡献包括路径自适应事件编码、引导事件选择的损失,以及用于时空建模的状态空间模型(SSM);研究对象并非 EEG 或 BCI。 机制上,Path-Adaptive Event Aggregation and Scan(PEAS)通过自适应扫描和选择聚合事件帧,将不同时长的事件编码为固定维度特征。Multi-faceted Selection Guiding(MSG)loss 用于降低编码特征的随机性与冗余,作者认为这有助于提升不同推理频率下的泛化。随后,SSM 学习编码特征的时空关系,利用线性复杂度处理高时间分辨率的较长序列。摘要未给出选择策略、损失公式、SSM 具体结构及训练细节。 作者以 0.1s 至 4.5s 举例说明任意时长识别能力,并构建了分钟级、任意时长的事件识别数据集 ArDVS100;两种时长表述对应的具体评估设置尚未验证。作者报告,相较既有方法,在 DVS Action、SeAct、HARDVS 上分别提升 +3.45%、+0.38%、+8.31%。摘要未明确指标、对照方法、划分和时长/推理频率协议,也未说明这些数值是相对增幅还是百分点差,因此不能据此进行跨数据集效果比较。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务确有输入时长或采样频率变化带来的泛化瓶颈,固定维度自适应聚合与 SSM 序列建模可作为候选思路。但原方法依赖异步事件及空间事件帧,不能直接等同于连续多通道 EEG;聚合、扫描和选择引导均需改造,低信噪比下可能选中伪迹或丢失短暂判别信息,通道差异、跨被试变化及小数据也可能限制收益。可在固定被试内划分下,比较均匀聚合与自适应聚合在相同时长变化条件下的表现,保持分类器和训练预算一致,检验选择机制是否提供独立收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 PAST-SSM 如何通过路径自适应事件选择与 MSG 损失处理时长及推理频率变化,但摘要中的性能增益口径和向 EEG 迁移的有效性尚未验证。

来源:OpenReview · State space models · openreview.net