LAP:面向教学视频步骤规划的语言感知规划模型
LAP: A Language-Aware Planning Model For Procedure Planning In Instructional Videos
基于摘要分析。该研究针对教学视频中的步骤规划:根据起始视觉观测和目标预测动作序列,重点处理不同动作在视觉上相似所造成的歧义。作者提出 Language-Aware Planning(LAP),利用语言表征连接视觉观测与动作规划。 机制上,LAP 使用视觉语言模型(VLM)将视觉观测转换为文本嵌入,预测动作并提取对应嵌入;随后以起始动作、目标动作的文本嵌入,以及增强后的中间动作文本嵌入为条件,由扩散模型生成计划。其核心思路不是仅依靠视觉特征区分动作,而是利用语言描述在潜在空间中的区分能力。摘要未说明文本嵌入增强方式、扩散训练目标及推理时中间动作信息的具体来源,相关实现尚未验证。 作者报告,在 CrossTask、Coin 和 NIV 三个步骤规划基准上,LAP 在多个指标与规划时间跨度下取得优于既有方法的结果,并称达到新的最先进水平;摘要未提供指标名称、具体数值、数据划分及对照配置,因此无法判断收益大小及其适用边界。实验协议、消融及统计信息尚未验证,复现还需核对 VLM 配置、动作文本构建方式和条件信息的使用流程。 本研究的主要对象是教学视频动作规划,并非 EEG 解码或 BCI。现有摘要不足以建立其语言条件规划机制与特定 EEG 瓶颈的具体对应关系,因此不据此推导跨被试或小数据场景的有效性;已有 EEG 相关工作尚未检索确认。
值得关注其以语言表征缓解视觉动作歧义、再用条件扩散模型生成动作计划的机制,但摘要中的性能优势仍需结合完整评估协议核对,尚无 EEG/BCI 有效性证据。
来源:OpenReview · State space models · openreview.net