跳到正文
OpenReview · Representation learning· Ramy Mounir; Sujal Vijayaraghavan; Sudeep Sarkar·· 2023-09-22精选AI 评分76

STREAMER:层次化流式表示学习与事件分割

STREAMER: Streaming Representation Learning and Event Segmentation in a Hierarchical Manner

AI 导读

基于摘要分析。该研究面向连续感知输入,研究如何在流式学习中将输入组织为不同层级的语义事件,同时学习各事件片段的全局表示。作者提出 STREAMER,并在第一视角视频数据集 EPIC-KITCHENS 上评估时间事件分割及事件检索;其主要研究对象是视频事件,而非 EEG 或 BCI。 STREAMER 采用逐层训练,各层围绕预测未来以及向其他层提供预测所需信息两个目标学习。模型通过不同层级的预测误差峰值识别事件边界;边界出现时,当前层的输入编码表示被传递至更高层,形成自下而上的事件层次。另设通信模块,在预测过程中支持自上而下与自下而上的信息交换。作者称模型完全自监督,训练仅单遍读取数据,每个输入只见一次且不存储数据;具体损失、边界判定方式与状态存储开销尚未验证。 作者报告开展了 EPIC-KITCHENS 时间事件分割实验,并以事件检索实验支持所学视频事件表示的质量,但摘要未提供分数、划分、对照基线或统计结果,无法据此判断性能优势。实验协议、消融及统计信息尚未验证。摘要称项目页提供代码与演示视频,其可运行性及复现条件尚未核查。 平台推测(待验证):若连续 EEG 中存在可由预测误差反映的状态转换,该机制可能用于探索多时间尺度事件分割。可复用部分是层次预测与边界触发的信息传递,需改造 EEG 输入编码、时间尺度及边界判据;低信噪比、伪迹、通道差异和跨被试漂移可能导致误差峰值并非语义边界,小数据也可能使预测不稳定。一个可检验的小实验是在具有独立事件标注的连续 EEG 上进行单遍自监督训练,以固定时间分块为对照,分别检查边界定位和事件检索结果,并区分被试内与跨被试评估。该假设依赖连续时序及仅用于评估的事件标注,不代表已验证的 BCI 效果;已有 EEG 相关工作尚未检索确认。

阅读价值

STREAMER 将预测误差驱动的多层事件边界检测与单遍流式自监督学习结合,值得核对其事件表示和分割机制,但摘要不足以判断分割性能及向 EEG 迁移的有效性。

来源:OpenReview · Representation learning · openreview.net