跳到正文
OpenReview · Representation learning·· 2026-09-18精选AI 评分82

医学影像中联合嵌入预测学习的可预测性偏置

The Predictability Bias of Joint-Embedding Predictive Learning in Medical Imaging

AI 导读

研究以 CT 表征学习为对象,考察联合嵌入预测架构(JEPAs)是否因偏好可由上下文预测的信息,而削弱局部病理特征,并提出 TAP-JEPA 及预测路径审计分析。基于摘要分析,未取得论文全文。 JEPAs 根据可见上下文预测被掩码区域的教师表征。作者将点预测无法重现上下文未能确定的目标变化这一约束称为“可预测性偏置”:CT 中反复出现的解剖结构通常较易预测,而偶发、局部的病理变化未必如此。TAP-JEPA 采用 ViT-B/3D,在 113,611 个 CT 体积上训练;作者报告其扫描级分类表现可与 COLIPRI、Merlin、VoxelFM 等编码器竞争,但摘要未提供该比较的具体分数与数据划分。 作者通过重放训练时相同的掩码、教师和预测器计算,审计预测路径。作者报告,预测使病理的平均 Skill(经患病率归一化的平均精确率)从 0.388 降至 0.271,解剖结构则从 0.921 降至 0.873。在沿教师表征中区分病理区域与同器官匹配对照区域的方向上,预测使病理向对照移动 34.7%,对照向病理移动 13.6%,且远离可见上下文时偏移更大。 作者还报告,在四类病理中,替换可见匹配对照表征,比完全替换病理表征更能增加周边目标的预测损失。在七个扫描级探针中的四个,移除全部末层病理 tokens 后,决策间隔下降至多 0.45%。这些结果支持作者关于“上下文可预测性不足以替代临床相关性”的判断,但不能据此推广为所有 JEPA 或所有医学任务均会忽略病理。 需进一步核对 Skill 的具体定义、区域匹配与替换操作、探针任务、数据划分及统计不确定性;实验协议、消融及统计信息尚未验证。本研究直接证据来自 CT,而非 EEG 或 BCI,不构成其在神经信号任务中有效或失效的证据。

阅读价值

值得阅读的是作者通过重放训练时的预测路径,区分扫描级分类表现与局部病理信息保留,为审视掩码预测目标是否保留任务关键特征提供了可核对的机制分析。

来源:OpenReview · Representation learning · openreview.net