CSTR:用于事件视觉的紧凑时空表示
CSTR: A Compact Spatio-Temporal Representation for Event-Based Vision
基于摘要分析。本文研究如何将异步视觉事件批次转换为适配现代计算机视觉架构的中间表示,提出 compact spatio-temporal representation(CSTR),以三通道类图像格式编码空间、时间与极性信息,并配套事件数据增强框架。 核心机制是在各空间位置结合事件计数与事件时间戳均值构造表示。摘要未给出三通道的具体分配、归一化方式或极性编码公式,尚不能据此还原实现。增强框架则对事件数据的空间、时间和极性特征引入随机训练变化。该方法的主要研究对象是事件视觉,而非 EEG 或 BCI。 作者报告,在多个物体识别与动作识别数据集上,CSTR 在一致基线下优于复杂度相近的其他表示;作者还报告其对运动重叠、高事件密度及变化的事件批次时长具有鲁棒性,所提增强进一步改善了表示的鲁棒性及事件数据稀疏性带来的问题。摘要未提供数据集名称、划分、评价指标、数值或统计检验,实验协议、消融及统计信息尚未验证;三通道紧凑性也不能直接等同于已验证的部署加速。 平台推测(待验证):若将 EEG 转换为带时间戳、通道位置及正负极性的阈值事件,可借鉴事件计数与平均时间戳的紧凑编码,探索对稀疏瞬态活动的表示。但这依赖额外的事件化规则与电极空间映射,不能直接沿用视觉像素结构;低信噪比可能产生伪事件,时间均值还可能抹去振荡相位与事件顺序,跨被试幅值差异和通道布局变化也可能削弱稳定性。一个可检验的小实验是在固定数据划分、分类器与训练预算下,比较原始 EEG、仅事件计数及加入平均时间戳的表示,并检验不同事件阈值下的表现。上述仅为迁移假设,已有 EEG 相关工作尚未检索确认。
值得关注的是 CSTR 将事件计数与平均时间戳压缩为三通道表示,并在一致基线下比较同等复杂度的表示;具体性能收益与其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net