跳到正文
OpenReview · Representation learning·· 2026-07-16精选AI 评分73

通过表征几何实现持续视网膜影像模态学习

Continual Retinal Image Modality Learning via Representation Geometry

AI 导读

基于摘要分析。该研究针对生物医学多模态建模中配对数据稀缺、每种模态分别维护编码器成本较高的问题,提出 CoMoGe:将单个预训练单模态编码器持续适配到新影像模态,同时尽量保留原模态能力。主要研究对象是视网膜及胸部医学影像,并非 EEG 或 BCI。 核心机制是在持续重训练期间保持预训练表征的成对几何关系,以约束表征漂移、缓解灾难性遗忘。这里的“成对几何关系”是表征空间中的关系约束,不能直接等同于跨模态配对样本;摘要未说明具体距离度量、损失形式、约束施加位置,以及原模态数据在训练中的使用方式。 作者将预训练眼底图像编码器分别适配到 OCT(光学相干断层成像)、OCTA(光学相干断层血管成像)和胸部 X 光影像。作者报告,在所述新模态适配实验中,CoMoGe 能在学习新模态的同时保留原始眼底图像上的性能,其中胸部 X 光实验没有对应的原始眼底图像配对数据。摘要未提供任务定义、数据集、样本量、划分协议、对照方法及量化指标,因此尚不能判断保留程度、新模态收益或不同实验间的可比性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 编码器的表征几何包含可跨数据条件保留的任务信息,该约束可能用于跨会话适配中的遗忘控制;可复用的是表征关系正则化思路,需改造信号编码与样本关系构建方式。低信噪比、通道变化、被试差异及小样本可能使原有几何不稳定,过强保持还可能阻碍适配。一个可证伪的小实验是在相同 EEG 编码器与跨会话划分下,对比普通微调和加入几何保持约束的微调,同时评估新会话表现与原会话性能保持。该假设不代表已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 CoMoGe 通过保持预训练表征的成对几何关系,使单编码器在学习新影像模态时保留原模态能力;其配对数据需求与无配对胸部 X 光实验的具体实现仍需全文核对。

来源:OpenReview · Representation learning · openreview.net