跳到正文
arXiv · 多模态与生成机制· Maria Attarian; Yifan Ruan; Claas Voelcker; Chenyang Cao; Amy Zhang; Peter Stone; Nicholas Rhinehart; Igor Gilitschenski·· 2 天前精选AI 评分75

后训练、微调与引导:训练数据策划实用指南

Post-Training, Finetuning, and Steering:A Field Guide for Curating Training Data

AI 导读

基于摘要分析。该研究面向 Vision-Language-Action(VLA)模型在新机器人任务上的适应问题,考察如何根据已有轨迹的来源与质量选择适应方法。其贡献是围绕 on-policy 与 off-policy 数据、离线与在线适应、最优与次优轨迹等条件,比较基于 critic 的引导、监督微调及强化学习适应方法,而非提出 EEG/BCI 算法。 评估覆盖 LIBERO 套件中的仿真任务及 Franka 平台上的真实机器人任务。作者报告,在离线且包含失败数据的条件下,基于 critic 的引导优于监督微调;但用于训练 critic 的离线强化学习技术,未能优于更简单的 Monte-Carlo 方法。这一区分提示,应分别核对“利用 critic 引导是否有效”与“如何训练 critic 更有效”,不能将两者视为同一结论。 作者报告,在在线适应条件下,基于 critic 的引导比基于策略梯度的微调具有更高的样本效率,但其性能上限低于完整微调。摘要未提供具体分数、交互预算、任务划分或统计不确定性,因此无法量化该权衡,也不能据此认定某种方法在所有数据条件下更优。 critic 的具体引导方式、Monte-Carlo 估计细节、轨迹构成、模型配置、实验协议、消融及统计信息尚未验证。材料未提供神经信号建模或 BCI 评估证据,不应将机器人任务中的适应结果直接解释为 EEG/BCI 有效性;已有 EEG 相关工作尚未检索确认。

阅读价值

该研究按数据来源、轨迹质量及在线或离线条件比较 VLA 适应方法,值得用于核对失败轨迹的利用价值与样本效率、性能上限之间的权衡,但其对 EEG/BCI 的适用性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org