通过 token 级表征学习增强医学图像 3D Transformer 分割模型

基于摘要分析。本文研究在不使用额外数据集的条件下，如何通过预训练改善基于 Swin Transformer 的 3D 医学图像语义分割。核心贡献是以不同增强视图中对应 token 的表征一致性替代体积级全局特征对齐，并设计防止表征塌缩的机制。 方法针对 3D 体积数量有限、计算成本较高，以及部分 Transformer 预训练任务不适用于 Swin Transformer 层次结构的问题。其 token 级表征学习损失分别最大化跨增强视图的 token 嵌入一致性。作者指出，这一新损失可能引发表征塌缩，因此提出 rotate-and-restore：对一个输入体积增强视图进行旋转与翻转，再在特征图中恢复 token 顺序。此外，作者调整对比损失，以处理来自不同体积、但处于相同空间位置的 token 之间的判别。具体损失公式、正负样本构造及塌缩判定尚未验证。 作者报告，在两个公共医学分割数据集的下游分割评估中，该预训练方案带来的改善优于所比较的其他先进预训练方法。摘要未提供数据集名称、成像模态、划分方式、指标、数值和具体基线；实验协议、消融及统计信息尚未验证，因此无法判断提升幅度及各机制的独立贡献。 平台推测（待验证）：该方法依赖可建立空间对应关系的体积 token 与增强视图，并非直接面向 EEG/BCI。若迁移至 EEG 的时频或通道—时间 token，一致性学习可能用于缓解标注有限时的表征学习问题，但需重定义 token 对应、有效增强及位置判别，不能直接照搬空间旋转与翻转。低信噪比、跨被试差异、通道布局变化和小数据可能使增强破坏任务信息，或使对齐偏向位置特征。可在固定划分与相同训练预算下，小规模比较从头训练、仅 token 一致性预训练、加入适配后恢复机制的版本，检验下游收益及表征是否塌缩；这属于迁移假设，尚未检索确认已有 EEG 相关工作。