EndoWorld-JEPA:内镜运动潜在预测
先了解这件事
基于摘要分析。EndoWorld-JEPA针对相机位移、组织形变及器械交互造成的内镜视频状态变化,以截至当前已观测的运动预测下一潜在状态,无需记录动作、标定姿态或机器人运动学信息。其运动引导模块分离主导位移与残余运动,生成时序条件及局部运动权重,用于全局—局部潜在预测;结合patch级运动加权和完整运动条件随机屏蔽,降低对不可靠运动的依赖。 作者报告,同一预训练检查点在四个下游基准上迁移表现较强,但摘要未列基准名称、数据与划分、指标数值及对照结果,收益幅度尚未验证。损失设计、光流实现、消融与代码可用性亦尚未验证。本次新增材料未提供可核对的版本变更;未提供EEG/BCI验证,不能据此推断相关迁移价值。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv · 表征与预训练精选EndoWorld-JEPA:面向内镜视频表征学习的运动引导全局—局部潜在世界建模
基于摘要分析。该研究针对内镜视频中由相机位移、组织形变和器械交互引起的状态变化,提出 EndoWorld-JEPA,将被动视频预训练表述为运动引导的潜在状态预测问题,显式学习全局场景演化与局部动态,而非仅隐式处理运动信息。 模型不依赖记录的动作、标定姿态或机器人运动学信息,而是以截至当前状态已观测到的运动为条件,预测下一潜在状态。Optical Motion-guided 模块将光流中的主导位移与残余运动分离,形成有序时序运动条件和空间局部运动权重。时序条件同时调制全局与局部潜在状态转移;局部权重用于定义辅助运动局部状态,将预测目标从场景层面扩展到空间选择性动态。 在训练设计上,patch 级运动加权强调局部变化并保留解剖上下文;past-motion-window dropout 随机屏蔽完整运动条件,以降低模型对不可靠运动信息的依赖。该方法在表征空间预测视觉—运动动态,而非重建随机外观伪影。摘要未提供具体损失形式、光流计算方式或模型规模。 作者报告,同一预训练检查点在四个下游基准上取得较强迁移表现,但摘要未列出基准名称、任务、数据划分、指标数值及对照结果,因此尚不能判断收益幅度或适用边界。实验协议、消融及统计信息尚未验证;复现还需核对运动条件的时间窗口、局部权重构造、预训练数据及代码可用性。本文主要研究对象是内镜视频表征学习,材料未提供 EEG/BCI 验证,相关迁移价值尚未建立。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。