用于视频过程规划的混合状态表示

基于摘要分析。本文研究从视觉输入进行过程规划时的状态表示问题，提出 Hybrid State Representation（HSR），结合结构化对象关系与上下文问答，以缓解句子级自然语言状态描述的歧义及其对细粒度对象交互表达不足的问题。 HSR 包含两个互补组件：Semantic State Graphs（SSGs）显式编码对象、属性及其关系；上下文 Question-Answer（QA）对作为语义探针，帮助消除关键状态转换的歧义。方法进一步使用异构编码器融合两类表示，并引入视觉—状态对齐目标，使混合表示与视觉上下文关联。摘要未给出图和 QA 对的构建方式、编码器结构、对齐损失形式或训练与推理时所需的监督信息。 作者报告，在 CrossTask、COIN 和 NIV 的视频过程规划评估中，HSR 在严格的 Success Rate（SR）指标上取得显著提升，并达到新的最优水平；作者还报告，消融研究支持 SSG 与 QA 两个组件均对性能提升有贡献。摘要未提供具体数值、基线、数据划分及统计检验，因此这些结论目前只能作为作者报告理解，实验协议、消融及统计信息尚未验证。该工作的核心是视频过程规划中的状态表示，并非仅凭来源分类即可认定的状态空间模型创新。 平台推测（待验证）：其可迁移思路是用结构化任务状态与语义探针约束规划，而非直接将视频模块套用于 EEG。若应用于具有明确步骤和环境反馈的 BCI 辅助任务，可假设 SSG 表示外部任务状态，QA 辅助检查状态转换，另行训练 EEG 意图到任务状态或动作的映射。该路径依赖可定义的对象关系与状态监督；异构融合和对齐机制可能复用，但信号编码与对齐目标需要改造，低信噪比、跨被试差异和小数据可能使语义约束掩盖真实解码错误。可在固定 EEG 解码器及相同数据划分下，小规模比较句子状态、仅 SSG 和 SSG+QA 的规划成功率。此为迁移假设，尚未检索确认已有 EEG 相关工作。