跳到正文
arXiv · 多模态与生成机制· Guodong Du; Wanyu Lin·· 4 天前精选AI 评分77

NestedVLA:学习整合与生成视觉–语言–动作模型的技能

NestedVLA: Learning to Consolidate and Generate Skills for Vision-Language-Action Models

AI 导读

NestedVLA 研究机器人 Vision–Language–Action(VLA)模型如何整合在异构任务与环境中独立学得的技能,提出通过任务条件参数生成替代直接参数合并。基于摘要分析,其核心贡献是使用嵌套超网络生成可与冻结基础 VLA 组合的动作专家参数,并单独保留任务特定的压缩 VLM 残差。 该方法采用“先独立学习技能、再事后整合”的路径,针对联合多任务训练中的任务干扰,以及模型合并中的参数冲突或架构改动需求。目标任务作为超网络的条件输入,用于生成任务自适应的动作专家参数;任务残差则分别保存。摘要未披露嵌套超网络的具体结构、训练目标、残差压缩方式及推理开销,实验协议、消融及统计信息尚未验证。 作者报告,在 MetaWorld、ManiSkill、CALVIN 三个 RL 基准上,相比最强模型合并基线,平均提升 41 个百分点;在 ManiSkill 上,与逐任务微调的差距在 1 个百分点以内,并在 CALVIN 上显著缩小差距。摘要未明确这些差值对应的指标名称、任务汇总方式、数据划分及基线配置,因此不能将其直接解释为 Accuracy,也不能据此作跨协议比较。作者将该方法定位为存储高效的技能整合路径,但总存储量仍需结合超网络、动作专家及各任务残差核算。摘要提供了代码链接,其可运行性及复现条件尚未验证。 平台推测(待验证):假设这一机制可用于 EEG 多任务适配,可复用的是冻结共享骨干、通过任务条件生成适配参数的思路;机器人动作专家及 VLM 残差不能直接照搬,需要改造为 EEG 解码模块,并明确任务条件如何获得。小数据、低信噪比及跨被试或通道差异可能使参数生成不稳定。可先在固定 EEG 骨干和同一数据划分下,对比逐任务微调、参数合并与条件参数生成,同时记录解码指标和总存储量,以检验性能保留与压缩能否兼得。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其以任务条件超网络生成动作专家参数、替代参数合并的机制,以及独立保留任务残差后的性能与总存储成本;摘要报告了机器人基准收益,但 EEG/BCI 适用性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org