SCHEMA：状态变化对教学视频中的过程规划至关重要

基于摘要分析。本文研究教学视频中的过程规划：根据部分视觉状态观测，生成面向目标的动作步骤序列。SCHEMA 的核心贡献是将步骤显式表示为状态变化，并跟踪过程中的中间状态，以构建更具结构、可用于规划的状态与动作空间。 机制方面，作者利用 LLM 的常识知识，通过设计的 chain-of-thought prompting 描述各步骤引起的状态变化；随后采用跨模态对比学习，对齐视觉状态观测与语言状态描述，并借助 LLM 生成的描述显式建模中间状态。相较于摘要所述主要建模步骤序列的既有工作，该方法强调步骤与状态之间的关系。作者以因果关系作为研究动机，但摘要不足以确认其是否采用严格的因果识别或干预验证，也不应仅凭来源分类将其理解为常见的状态空间序列模型。 作者报告，在 CrossTask、COIN 和 NIV 基准数据集上，SCHEMA 达到 state-of-the-art 性能，并获得可解释的可视化。摘要未提供具体指标、分数、数据划分或对照配置，因此无法量化增益或判断不同协议下的可比性。LLM 型号、提示模板、状态描述生成与使用流程、对比学习损失细节、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在可迁移部分是“观测—状态语义对齐”与“中间状态显式建模”，而非教学视频动作知识本身。假设 EEG 任务具有可靠的事件或阶段描述，该机制可能用于检验阶段语义约束能否改善时序表征；但需要替换视觉编码器，重新定义神经信号对应的状态及监督，不能把视频中的物体状态直接等同于认知状态。低信噪比、跨被试差异、通道配置变化、小样本及语言描述与 EEG 状态不对应均可能导致失败。可在一个带阶段标注的 EEG 数据集上，固定划分与编码器，比较加入真实阶段描述、打乱描述及不使用描述的版本，检验语义对齐是否带来稳定收益。已有 EEG 相关工作尚未检索确认。