跳到正文
OpenReview · Representation learning· Ramy Mounir; Sujal Vijayaraghavan; Sudeep Sarkar·· 2023-01-01精选AI 评分76

STREAMER:以层级方式进行流式表征学习与事件分段

STREAMER: Streaming Representation Learning and Event Segmentation in a Hierarchical Manner

AI 导读

基于摘要分析。本文研究如何将连续感知输入组织成不同层级的语义事件片段,并同步学习片段级全局表征,主要评估对象是第一人称视频,而非 EEG 或 BCI。作者提出自监督架构 STREAMER,将未来预测、层级事件边界检测与层间信息交换结合,用于流式表征学习和时间事件分段。 机制上,STREAMER 逐层训练以适应输入领域的复杂度;每层有两个主要目标:准确预测未来,以及向其他层级提供完成预测所需的信息。模型通过不同层级的预测误差峰值识别事件边界;边界出现时,当前层编码的输入表征被送至更高层,触发自底向上的信息流。另设通信模块,在预测过程中支持自顶向下及自底向上的信息交换。摘要未提供具体损失形式、层级配置及边界判定规则。 作者报告,模型完全自监督,并以流式方式单遍训练,每个输入只遇到一次且不保存输入数据。评估使用 EPIC-KITCHENS,任务包括时间事件分段与基于学习表征的事件检索;作者以检索实验支持视频事件表征质量,但摘要没有给出定量结果、数据划分或对照基线。实验协议、消融及统计信息尚未验证。摘要称项目页提供代码及演示视频,其可运行性与复现条件尚未核对。 平台推测(待验证):其可迁移假设是,未来预测误差中的结构性变化可为连续 EEG 提供多时间尺度分段线索。可考虑复用层级预测与边界触发的信息传递机制,但需改造 EEG 编码、时间尺度和边界阈值,并核对各层是否仅使用当时可用的信息。原方法依赖连续时序输入及可预测的事件结构,无需事件标签训练;EEG 的低信噪比、伪迹、跨被试差异及通道变化可能使误差峰值反映噪声而非事件。可在具有独立事件标注的连续 EEG 上做小规模单遍实验,在相同输入与训练预算下比较层级分段和单层预测分段,检验边界对应关系及伪迹敏感性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 STREAMER 如何以预测误差峰值触发多层级事件边界,并在单遍、不保存输入数据的训练条件下学习事件表征;其对 EEG 流式分段的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net