EndoWorld-JEPA：面向内镜视频表征学习的运动引导全局—局部潜在世界建模

基于摘要分析。该研究针对内镜视频中由相机位移、组织形变和器械交互引起的状态变化，提出 EndoWorld-JEPA，将被动视频预训练表述为运动引导的潜在状态预测问题，显式学习全局场景演化与局部动态，而非仅隐式处理运动信息。 模型不依赖记录的动作、标定姿态或机器人运动学信息，而是以截至当前状态已观测到的运动为条件，预测下一潜在状态。Optical Motion-guided 模块将光流中的主导位移与残余运动分离，形成有序时序运动条件和空间局部运动权重。时序条件同时调制全局与局部潜在状态转移；局部权重用于定义辅助运动局部状态，将预测目标从场景层面扩展到空间选择性动态。 在训练设计上，patch 级运动加权强调局部变化并保留解剖上下文；past-motion-window dropout 随机屏蔽完整运动条件，以降低模型对不可靠运动信息的依赖。该方法在表征空间预测视觉—运动动态，而非重建随机外观伪影。摘要未提供具体损失形式、光流计算方式或模型规模。 作者报告，同一预训练检查点在四个下游基准上取得较强迁移表现，但摘要未列出基准名称、任务、数据划分、指标数值及对照结果，因此尚不能判断收益幅度或适用边界。实验协议、消融及统计信息尚未验证；复现还需核对运动条件的时间窗口、局部权重构造、预训练数据及代码可用性。本文主要研究对象是内镜视频表征学习，材料未提供 EEG/BCI 验证，相关迁移价值尚未建立。