跳到正文
arXiv · 表征与预训练· Fabian Drexel; Bernhard Kainz; Jakob N. Kather; Daniel Rueckert; Lisa C. Adams; Keno K. Bressem; Cosmin I. Bercea·· 6 天前精选AI 评分82

医学影像中联合嵌入预测学习的可预测性偏差

The Predictability Bias of Joint-Embedding Predictive Learning in Medical Imaging

AI 导读

基于摘要分析。该研究以 CT 表征学习为对象,考察 JEPA 从可见上下文预测掩码区域教师表征时,是否偏向保留可预测的解剖结构,而弱化局部、偶发但具有诊断意义的病理信息。作者提出 TAP-JEPA,并通过重放训练时的掩码、教师与预测器计算,审计其预测路径中的“可预测性偏差”。 核心机制是:点预测概括目标的条件分布,无法重现上下文不能确定的变异。作者认为,重复出现的解剖结构较易从上下文推断,局部病理则未必如此。TAP-JEPA 使用 ViT-B/3D,在 113,611 个 CT 体积上训练;作者报告其扫描级分类表现可与 COLIPRI、Merlin、VoxelFM 等编码器竞争,但摘要未提供具体分类分数与评估划分。 在预测路径审计中,作者报告,病理的平均 Skill(按患病率归一化的平均精确率)经预测后从 0.388 降至 0.271,解剖结构则从 0.921 降至 0.873。沿区分病理与同器官匹配对照区域的教师表征方向,预测使病理向对照移动 34.7%,对照向病理移动 13.6%;距离可见上下文越远,偏移越大。在四类病理中,替换可见匹配对照表征对周围目标预测损失的影响,大于完全替换病理表征。七个扫描级探测任务中,有四个在移除全部最终层病理 token 后,决策间隔下降不超过 0.45%。这些结果支持作者关于“上下文可预测性不足以代理临床相关性”的判断,但不能据此认定所有 JEPA 或所有临床任务均存在同等程度的问题。 平台推测(待验证):若 EEG 掩码预测同样依赖上下文恢复目标表征,低可预测但任务相关的短暂事件也可能被弱化。可复用其预测路径审计思路,但需将空间区域匹配改为时间窗、通道及事件条件匹配;低信噪比、跨被试差异与小样本可能使事件效应和噪声难以区分。一个小实验是在固定划分下比较教师与预测表征对事件窗及匹配背景窗的区分能力。该假设尚非 EEG/BCI 证据,已有相关工作尚未检索确认。全文中的实验协议、消融及统计信息尚未验证。

阅读价值

该研究通过重放训练时的预测路径,区分扫描级分类表现与局部病理表征保留能力,为审视 JEPA 的预训练目标是否保留临床相关信息提供了可核对的分析思路。

来源:arXiv · 表征与预训练 · arxiv.org