Skip-Plan:通过压缩动作空间学习进行教学视频流程规划
Skip-Plan: Procedure Planning in Instructional Videos via Condensed Action Space Learning
基于摘要分析。本文研究教学视频中的流程规划,提出压缩动作空间学习方法 Skip-Plan,以减少逐时间步预测状态—动作对时的高维状态监督负担与动作序列误差累积。其主要研究对象是视频中的动作流程,而非 EEG 解码或 BCI。 方法将流程规划抽象为数学链模型,通过跳过动作链中不确定的节点和边,把长而复杂的序列关系转化为较短、较可靠的关系。摘要给出两个操作:一是移除所有中间状态监督,仅关注动作预测;二是跳过不可靠的中间动作,将较长动作链分解为多个短子链,从而在压缩动作空间中学习动作序列内的可靠子关系。相较摘要所述逐步生成相邻动作的既有方法,其区别在于改变监督对象和序列关系的学习方式,而不只是替换序列模型。 作者报告,Skip-Plan 在 CrossTask 与 COIN 的流程规划基准上达到当时的最优表现。摘要未提供指标名称、具体数值、数据划分、规划长度与对照配置,因此无法核实提升幅度或进行协议一致的比较。不确定节点与边的判定、子链构造及组合方式、损失与推理流程,以及实验协议、消融及统计信息尚未验证;不能据此将来源栏目中的 State space models 视为本文已经确认的模型架构。 平台推测(待验证):若 EEG 任务具有明确的多阶段动作标签与顺序约束,短子链关系学习可能用于检验长序列误差累积能否缓解。可复用的候选部分是链分解与动作关系学习,需改造视频表征为 EEG 表征,并明确动作标签与神经信号的时间对齐。该假设不直接适用于独立试次分类;低信噪比、跨被试差异、通道变化与小数据可能使可靠性判定不稳定,跳过中间动作也可能损失关键时序信息。一个可证伪的小实验是在具有阶段标签的 EEG 序列上,固定编码器与数据划分,对照完整链学习和短子链学习,检验长序列性能及错误随序列长度的变化。已有 EEG 相关工作尚未检索确认。
值得阅读的是 Skip-Plan 通过移除中间状态监督并学习短动作子链,处理教学视频流程规划中的监督复杂性与误差累积;其对子链可靠性的定义及组合方式需结合全文核对。
来源:OpenReview · State space models · openreview.net