跳到正文
arXiv · 泛化与分布偏移· Xueyang Zhou; Yangming Xu; Qianjiang Li; Guiyao Tie; Junhao Wu; Ziheng Huang; Guowen Zhang; Zhijie Yuan; Di Wu; Duanfeng Chu; Pan Zhou; Lichao Sun; Yongchao Chen·· 3 天前精选AI 评分80

LIBERO-Pro2.0:用于评估具身基础模型鲁棒性的基准

LIBERO-Pro2.0: A Benchmark for Evaluating the Robustness of Embodied Foundation Models

AI 导读

基于摘要分析。该研究针对机器人操作策略在 LIBERO 上表现良好、却未必能在多样运行条件下保持鲁棒性的问题,提出分布偏移评估基准 LIBERO-Pro2.0,并提供用于鲁棒性学习的训练轨迹。研究对象是具身基础模型及机器人操作策略,而非 EEG/BCI 模型。 基准设计:LIBERO-Pro2.0 覆盖 Condition、Environment、Observation、Execution、Robot State Configuration 和 Language 六个维度,包含 22 种静态扰动与 20 种运行时干预,共形成 1,648 个经验证的分布偏移任务实例。作者说明,全部偏移任务实例经过六轮人工迭代审核与修正,以确保物理合理性和任务有效性;另通过模型生成与人工示范收集了 39,390 条训练轨迹。摘要未说明各类轨迹的比例、训练与评估划分,以及具体扰动强度。 评估结果:作者报告,对涵盖 vision-language-action models、world-action models 和面向鲁棒性的策略在内的 17 个代表性机器人策略进行评估后,所有受评范式均呈现明显的鲁棒性差距。在运行时分布偏移条件下,相对于摘要未具体界定的参照条件,受评模型的平均性能下降为 26.5 个百分点,个别降幅达到 32.5 个百分点。摘要未明确性能指标、聚合方式及参照条件,因此这些降幅不能改写为 Accuracy 或任务成功率下降,也不能外推到其他评估协议。 阅读与复现时需核对静态扰动和运行时干预的具体定义、偏移组合方式、训练轨迹与评估实例的划分、各策略的适配流程,以及人工审核标准。实验协议、消融及统计信息尚未验证,数据与实现的公开获取条件亦尚未验证。该工作提供的是机器人领域的鲁棒性评估资源;材料未给出可直接迁移至 EEG 的独立算法机制,不据此提出 BCI 效果结论或复现实验建议。已有 EEG 相关工作尚未检索确认。

阅读价值

该基准将静态扰动与运行时干预分开评估,值得关注其分布偏移设计及任务有效性审核流程,但其结果仅支持机器人操作场景,不能直接作为 EEG/BCI 鲁棒性证据。

来源:arXiv · 泛化与分布偏移 · arxiv.org