EndoVLA-OOV:机器人内镜中语言条件驱动的视野外目标获取
EndoVLA-OOV: Language-Conditioned Out-of-View Target Acquisition in Robotic Endoscopy
基于摘要分析。该研究面向上消化道内镜“先扫描、再回访”的工作流程,提出 EndoVLA-OOV,以语言描述引导机器人将先前观察到、当前位于视野外的可疑区域重新带入视野。核心问题是在狭窄、可形变环境和不完整观测下,将解剖位置与外观描述转化为相机运动,而非 EEG 解码或 BCI 控制。 方法将预训练骨干适配为视觉—语言—动作(VLA)策略,输出连续的双自由度末端弯曲指令,并结合初始、中间和当前图像引导搜索。作者称提供开源 VLA 数据集,包含六项任务、1,050 个演示回合及约 262k 个观测—动作对;具体骨干、训练目标、时序融合实现及数据划分尚未验证。 实体评估覆盖镜头湿润、低照度、两个未见过的胃部仿体,以及向未见过的离体环境进行的跨机器人形态迁移。作者报告,在跨机器人形态评估中,使用全部训练数据的策略取得 93.3% 的目标获取成功率(28/30)。另在保持模型、训练及测试配置相同的数据规模对照中,演示回合从 312 个增加至 1,050 个,成功率由 40.0% 提升至 90.0%;该结果与前述跨机器人形态评估属于不同描述的协议,不宜混同比较。作者还报告,指令与观测干预支持策略在所评估任务中利用了语言和时间上下文。 这些结果支持的范围是所测试环境与机器人形态下的语言引导内镜回访,以及增加任务特定演示数据的收益,不能直接外推至患者临床应用。成功判定标准、各环境样本量、基线、干预细节、消融及统计信息尚未验证;开源资源的具体获取与复现条件亦需核对全文。摘要未提供与 EEG/BCI 的具体机制对应关系,因此不据此提出 BCI 迁移结论。
值得关注其以语言与多时刻视觉观测驱动视野外目标重定位的机制,以及固定模型、训练和测试配置下的数据规模对照;其证据限于摘要所述机器人内镜环境,不代表临床或 BCI 有效性。
来源:arXiv · 多模态与生成机制 · arxiv.org