StateVid:将视频表示为演化的视觉状态
StateVid: Video Representation as an Evolving Visual State
基于摘要分析。StateVid 研究视频表示:不再将各帧独立产生的空间特征序列作为主要表示,而是把视频视为持续演化的视觉过程,以不断更新的视觉状态承载历史信息与新内容。 机制上,StateVid 在每个空间位置使用学习得到的保留门与写入门,以因果方式更新状态;状态大小保持固定,并通过按时间排序的状态快照向下游模型呈现其演化过程。训练使用短视频—文本对,通过历史保留与新内容适应的监督学习状态转移。摘要未提供门控公式、监督目标的具体构造或快照采样策略,不能据此认定具体网络结构与损失形式。 作者报告,StateVid 在视频任务上相较于更大训练规模的模型表现较强,同时保留图像处理能力;用于 VideoLLM 时具有更好的 token 效率和任务表现,并呈现稳定的外推表现及对视频内容的选择性注意。摘要未列出任务、数据集、训练规模、对照模型、量化指标及外推设置,实验协议、消融及统计信息尚未验证,不能据此判断性能优势的范围或来源。 平台推测(待验证):其固定大小、因果更新的状态机制可能与在线 EEG 长时序处理中历史信息保留和表示开销控制的瓶颈对应,但原方法依赖视频空间结构和视频—文本监督,原领域表现不等于 BCI 有效。可复用的是保留/写入式状态更新思路;输入编码、通道空间对应和监督目标需改造。低信噪比可能使状态积累伪迹,跨被试及通道变化可能破坏状态语义,小数据也可能不足以学习可靠门控。一个可证伪的小实验是在固定 EEG 任务与相同被试内划分下,以同一编码器比较门控状态与固定窗口聚合,在匹配训练预算时检验任务指标、状态开销及伪迹扰动后的恢复表现。已有 EEG 相关工作尚未检索确认。
值得核对其因果状态更新与固定大小表示如何兼顾历史保留和新内容适应,以及摘要所述 VideoLLM token 效率与外推表现是否在可比训练规模和评估协议下成立。
来源:OpenReview · Representation learning · openreview.net