用于事件流时空表征学习的 Event Voxel Set Transformer
Event Voxel Set Transformer for Spatiotemporal Representation Learning on Event Streams
该研究针对事件相机产生的稀疏异步视觉事件流,提出 Event Voxel Set Transformer(EVSTr),旨在避免将事件投影为稠密帧带来的计算开销,并增强稀疏表征中的局部信息聚合与全局特征交互。基于摘要分析,未取得论文全文;研究对象是事件视觉,而非神经电信号或 BCI。 EVSTr 首先将事件流转换为体素集合,再分层聚合体素特征。其核心 event voxel transformer encoder 包含 Multi-Scale Neighbor Embedding Layer(MNEL),用于局部信息聚合,以及 Voxel Self-Attention Layer(VSAL),用于全局特征交互。作者另引入分段建模策略 S²TM,从连续的分段体素集合中学习运动模式,以纳入长程时间结构。摘要未说明体素划分、邻域构建、注意力计算、训练目标与分段参数,相关实现条件尚未验证。 评估覆盖物体分类与动作识别两个任务;作者还提出在具有挑战性的场景中采集的事件动作识别数据集 NeuroHAR。作者报告 EVSTr 在实验中达到当时最优性能,同时保持较低模型复杂度,但摘要未提供具体分数、复杂度指标、数据划分或对照方法,无法据此量化优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若目标是对 EEG 衍生的稀疏事件表示建模,多尺度邻域聚合、全局交互和分段时序建模具有可检验的机制对应,但前提是假设事件化仍能保留任务相关信息。可考虑复用上述聚合思路,需将视觉空间体素与运动结构改造为电极空间及时间邻域,并适配输入编码;低信噪比可能使事件化放大伪迹,跨被试、通道布局变化及小数据也可能削弱稳定性。一个小规模可证伪实验是在固定 EEG 任务和相同跨被试划分下,比较连续信号输入、事件化输入及加入分段建模后的表现,并检验事件化阈值敏感性。此为迁移假设,相关 EEG 工作尚未检索确认。
值得核对其多尺度局部聚合、全局交互与分段时序建模如何协同处理稀疏异步事件,但摘要不足以验证其性能与复杂度优势,亦不构成 EEG/BCI 有效性的证据。
来源:OpenReview · Representation learning · openreview.net