Capek 0.5:面向机器人场景推理的以执行为中心的视觉语言模型
Capek 0.5: An Execution-Centric Vision-Language Model for Robot-Scene Reasoning
基于摘要分析。本文研究机器人迭代执行过程中,如何将感知、推理、行动指导与状态核验等不同能力整合到统一视觉语言模型中,提出 Capek 0.5,以能力在执行过程中的功能角色组织训练,而非按数据集或孤立任务组织训练。 核心机制是将能力划分为 Spatial Reasoning(空间推理)、Temporal Understanding(时间理解)、Action Guidance(行动指导)和 State Verification(状态核验)四类。各类能力先从共享骨干出发,由专门模型通过具有可验证奖励的强化学习获得;随后通过权重空间合并,再进行路由式策略空间蒸馏,将专门模型整合为单一推理模型。摘要未披露奖励定义、合并规则、路由机制或蒸馏目标的具体形式,尚不能判断不同能力之间的冲突如何处理。 作者构建了 2B 和 35B-A3B 两种规模的模型,并从三个角度评估:包含新状态核验基准 Capek-StateBench 的综合基准测试、从专门模型到统一模型的能力保留受控研究,以及模拟具身环境中的闭环执行。作者报告,相较初始化模型,Capek 0.5 在大多数对应基准测试项上有所改善,在同一检查点中保留四类专门能力并量化整合损失,同时能够迁移到闭环具身任务执行。摘要未给出具体分数、损失幅度、数据划分或模拟任务设置,因此这些结论的适用范围尚待核对;实验协议、消融及统计信息尚未验证。 研究的主要对象是机器人场景中的具身视觉语言推理,并非 EEG 解码或 BCI。材料未提供神经信号实验,也不足以建立直接的 BCI 机制对应关系,不据此推断其对低信噪比、跨被试或小样本问题有效。复现需进一步核对训练数据、可验证奖励实现、模型初始化、整合配置及闭环评估协议;代码、权重和基准的开放情况尚未验证。
值得阅读的是以执行功能组织能力专门化、再通过权重合并与策略蒸馏统一模型的训练路线,以及对专门模型能力保留和闭环执行的评估;具体收益与整合损失仍需全文核对。
来源:OpenReview · State space models · openreview.net