跳到正文
arXiv · 多模态与生成机制· Angen Ye; junjie xie; Yujia Song; Junkai Huang; Dapeng Zhang·· 6 天前精选AI 评分74

SurgiCLAW:用于精密机器人显微操作的可解释原子技能智能体

SurgiCLAW: An Interpretable Atomic-Skill Agent for Precision Robotic Micromanipulation

AI 导读

基于摘要分析。研究针对手术机器人端到端低层动作预测中精度不足、决策不透明及数据稀缺的问题,提出分层技能框架 SurgiCLAW,并以脑机接口(BCI)植入操作为代表任务。其主要贡献是将多模态大语言模型(MLLM)的视觉理解与技能选择,同确定性控制程序的物理执行分离;研究对象是机器人植入操作,而非神经信号解码或 BCI 控制算法。 机制上,MLLM 负责术中视觉理解、结构化解释和原子手术技能选择,实际动作交由可验证的确定性控制程序执行。作者构建状态到技能调用的数据集,并通过视觉与状态扰动扩充数据。训练先采用监督微调学习结构化技能调用,再使用动作正确性、操作前提条件和格式有效性三类奖励进行优化。具体模型、技能库、奖励定义及优化算法尚未验证;结构化解释是否忠实反映决策过程,也需结合正文核对。 作者报告,在固定测试集上,技能选择 Accuracy 为 94.6%,Macro-F1 为 93.0%;在 50 次闭环真实机器人植入试验中,任务成功率为 88.0%。这些指标分别衡量技能选择与完整任务执行,不能相互替代。摘要提到子任务成功率评估、离线模型比较、真实机器人测试和消融,但未提供具体对照及消融结果。 复现需核对训练与测试划分、扰动样本的划分方式、原子技能定义、操作前提检查、机器人及植入环境、失败类型和任务成功判据。实验协议、消融及统计信息尚未验证,数据与代码可用性亦未确认。摘要未说明植入对象及临床验证条件,因此不能据此推断人体植入安全性或临床可用性。

阅读价值

值得核对其将 MLLM 技能选择与确定性控制分离的机制,以及真实机器人植入试验的成功判据;摘要结果支持进一步阅读,但不构成临床安全性或 BCI 解码有效性的证据。

来源:arXiv · 多模态与生成机制 · arxiv.org