面向歧义与不可执行性感知指令到计划 grounding 的波斯语视觉–语言–动作数据集与基准
A Persian Vision-Language-Action Dataset and Benchmark for Ambiguity- and Infeasibility-Aware Instruction-to-Plan Grounding
基于摘要分析。该研究面向具身人机交互中“根据场景图像将波斯语自然语言指令转为可执行动作计划”的问题,提出覆盖歧义与不可执行指令的数据集及评估基准。主要贡献是数据标注、规划配置对照与评估指标,而非 EEG 或 BCI 方法。 数据集包含基于230张真实家庭或办公场景照片构建的258个实例,标注参考计划、刻意设置的歧义与不可执行性标签、用于消歧的问答对,并提供自动生成的思维链理由用于训练。作者称其为该任务首个波斯语视觉–语言–动作数据集;这一优先性声明尚未独立核实。 研究对检索增强、思维链提示及智能体式消歧步骤进行消融,采用 LLM-as-judge 协议,并提出 PGOS-FA:在既有 PG2S 基础上加入步骤顺序敏感性、过度生成惩罚及适配波斯语的嵌入。作者报告,在36项比较的配对统计检验中,检索增强具有较大且稳健显著的效果;更细粒度的附加配置方向一致,但在当前规模下无法与随机波动显著区分。作者还报告,LLM 评判指标在 PGOS-FA 能检出差异的比较中统计功效接近零。 作者报告,对79个真实生成输出开展的盲法人类相关性研究显示,PGOS-FA 与人类判断的一致程度至少不低于 LLM 评判。超出单一骨干模型消融的测试还表明,开放权重与更强闭源规划器之间的大部分差距可归因于开放权重模型的生成环节;最佳配置在骨干较弱的条件下显著优于独立复现的外部基线。具体模型、划分、效应量、统计校正及对照公平性尚未验证。 数据集、PGOS-FA 实现及评估代码拟在合理请求下提供,不能视为已经公开下载。全文需重点核对照片与实例的划分关系、自动生成理由的质量控制和人类评分协议。摘要未提供与神经信号处理的具体机制对应,不据此推断 EEG/BCI 有效性。
该材料值得关注的是将指令歧义、不可执行性与动作步骤顺序纳入波斯语场景规划评估,并用盲法人类评分检验指标;其统计结论与可复现性仍需结合全文及按请求提供的资源核对。
来源:arXiv · 多模态与生成机制 · arxiv.org