跳到正文
OpenReview · Representation learning·· 2026-09-15精选AI 评分80

TriPoD:通过物理锚定预训练与极性去偏文本对齐学习三维 CT 表征

TriPoD: Triadic 3D CT Representation Learning via Physically Anchored Pretraining and Polarity-Debiased Text Alignment

AI 导读

基于摘要分析。本文研究三维 CT 基础模型如何兼顾全局识别、密集空间预测与语言引导推理,提出 TriPod 框架,将保留采集几何的体积预训练与极性去偏文本对齐结合,分别应对重采样造成的几何信息弱化和报告监督中的文本捷径。 在视觉预训练中,作者使用来自多个医疗中心、超过 470,000 个经过质量控制的 CT 体积,保留原生体素网格及体素到世界坐标的变换,而非对整幅扫描统一进行各向同性重采样。其 affine-aware 3D rotary positional encoding 将 patch 中心映射至以视图为中心的物理空间,以表达不同采集条件下的尺度与方向。 在锁定图像编码器的 CT—报告对齐设置中,作者通过患者互不重叠的纯文本审计,发现特定短语可提示概念的主导极性,形成无需图像证据的预测捷径。Polarity-Debiased Opposite Sentence Learning(PD-OSL)将受证据约束的原子级发现与极性去偏采样结合,旨在削弱这一捷径;摘要未给出具体损失及采样实现。 作者报告,共享视觉编码器可迁移至分类、分割及内部和外部零样本识别。受控消融显示,物理坐标对全局识别的影响较小且依任务而变,对密集预测迁移的影响则依数据集而变:在一个大型多器官基准上有明确增益,在另一个基准上变化可忽略。在匹配检查点和提示条件下,作者报告 PD-OSL 减少了短语条件下的极性泄漏,并改善两个队列的零样本识别;摘要未提供具体指标数值。 本研究的主要对象是 CT 表征学习,并非 EEG 或 BCI 验证。实验协议、数据集名称、患者划分细节、完整消融及统计信息尚未验证,代码与权重的可用性也尚未确认。其结果支持进一步核对采集几何建模与语言监督去捷径的互补作用,但不能据此认定其在神经信号任务中有效。

阅读价值

值得核对其物理坐标编码与文本极性捷径审计的受控对照:作者报告几何建模收益依任务和数据集而变,而 PD-OSL 在匹配检查点与提示条件下改善了两个队列的零样本识别。

来源:OpenReview · Representation learning · openreview.net