跳到正文
OpenReview · Representation learning· Bin Jiang; Zhihao Li; M. Salman Asif; Xun Cao; Zhan Ma·· 2024-01-01精选AI 评分73

基于 Token 的事件时空表示

Token-Based Spatiotemporal Representation of the Events

AI 导读

基于摘要分析。本文研究事件相机数据的时空表示,提出将每个事件作为基本处理单元 event-token,以减少帧或体素转换带来的时间粒度损失,并通过 Event Transformer Block(ETB)中的 Three-way Attention 联合构建事件之间的时间与空间关联。 事件相机能够捕获微秒级亮度变化;常见方法将异步事件转换为帧、体素网格或脉冲后交由深度神经网络处理。作者指出,这些表示可能牺牲时间细节,或依赖专门处理设备。本文的主要方法贡献是保留事件级处理粒度,并在注意力模块中建模时空关系;摘要未披露 token 编码、Three-way Attention 的具体计算方式、序列组织及训练目标。 在物体分类和光流估计任务中,作者报告,与其他常见事件表示相比,该方法具有竞争性表现,并可在标准设备上以较少计算资源运行。摘要未提供数据集、划分、对照配置、评价数值或资源测量口径,因此尚不能核实精度与效率的权衡;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是假设以细粒度 token 和时空注意力缓解 EEG 粗时间窗表示对短暂变化的平滑,但原始数据是异步视觉事件,不能直接等同于连续、低信噪比的 EEG。可考虑复用时空关系建模思路,需改造输入编码、时间位置及通道空间关系;事件化过程也可能将噪声转成大量 token,增加计算量,在跨被试、通道变化及小数据条件下失效。一个可证伪的小实验是在同一 EEG 数据集、固定被试内划分与训练预算下,比较事件化 token 和固定时间窗 token 的同一模型骨干,同时测量任务指标、token 数及推理开销。已有相关 EEG 工作尚未检索确认,此处不构成已验证的 BCI 效果。

阅读价值

值得核对其逐事件 token 表示与 Three-way Attention 如何兼顾时空粒度和计算开销,但摘要仅给出定性结果,其效率优势及向 EEG 的可迁移性尚未验证。

来源:OpenReview · Representation learning · openreview.net