跳到正文
OpenReview · Representation learning· Yuan Zhang; Sihao Dou; Kai Hu; Shuhua Deng; Chunhong Cao; Fen Xiao; Xieping Gao·· 2026-09-17精选AI 评分75

从聚焦到感知的表征学习:用于内镜视频分析的认知启发式层级框架

Focus-to-Perceive Representation Learning: A Cognition-Inspired Hierarchical Framework for Endoscopic Video Analysis

AI 导读

基于摘要分析。本文研究高质量标注有限条件下的内镜视频表征学习,提出 Focus-to-Perceive Representation Learning(FPRL):先聚焦帧内病灶相关区域学习静态语义,再感知这些区域的跨帧演化以学习上下文语义。其主要研究对象是胃肠道内镜视频,而非 EEG 或 BCI。 作者认为,自然视频自监督预训练方法侧重密集时空建模,存在运动偏置,可能忽视临床判断所需的静态结构语义。FPRL 通过层级语义建模显式区分并协同学习两类信息:首先结合 teacher-prior adaptive masking(TPAM,教师先验自适应掩码)与多视图稀疏采样,减少冗余时间依赖并聚焦病灶相关局部语义;随后利用 cross-view masked feature completion(CVMFC,跨视图掩码特征补全)和 attention-guided temporal prediction(AGTP,注意力引导时间预测),建立跨视图对应关系并建模帧间结构化演化。教师先验的来源、监督需求、具体损失和训练流程尚未验证。 作者报告,在 11 个内镜视频数据集的多种下游任务上取得优于对照方法的表现;摘要未提供任务清单、数据划分、基线、具体指标及数值,因此不能判断提升幅度或跨数据集泛化能力。实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但代码内容、预训练权重及复现条件尚未核验。 平台推测(待验证):若 EEG 任务也需要区分局部判别结构与较长时间上下文,可考察这一分层学习思路,但内镜病灶区域与 EEG 时空结构并不直接对应。迁移时需重定义多视图、掩码单元和教师先验;低信噪比、通道差异及小样本可能使注意力追踪伪迹而非神经活动。一个可证伪的小实验是在固定跨被试划分及相同骨干下,对比分层目标与单一掩码建模目标,并单独消融教师先验,检验收益是否稳定。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 FPRL 如何通过分层学习区分静态病灶语义与跨帧上下文语义,尤其是教师先验与时间预测的各自贡献;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net