建立、打破、重建与巩固:面向跨数据集皮肤病灶表征学习的关系自监督学习
Establish, Break, Rebuild, Consolidate: Relational Self-Supervised Learning for Cross-Dataset Skin-Lesion Representation Learning
基于摘要分析。研究针对皮肤病灶图像在皮肤镜、临床或智能手机等采集条件下的表征兼容性问题,提出 Cross-dataset INter-view relational Distillation with Evidence-masked Recovery and Stabilization(CINDERS)。其贡献是在独立采集、未配对的数据集上,以样本间关系为学习目标,不使用诊断标签定义跨数据集对应关系,也不手工指定跨数据集正样本对。 机制上,指数移动平均教师为完整多视图图像定义关系结构,并对局部视觉证据排序;共享学生先学习完整关系,再物理移除排名最高的图像块,经过第二次冻结骨干网络前向计算后,从剩余证据重建完整关系,最后以对称对比目标巩固完整与重建表征。摘要未提供关系计算、证据排序、掩码比例及损失权重的具体定义,不能将其等同于普通图像重建。 作者报告,在 DermaMNIST-C 与 PAD-UFES-20 的两个跨采集方向检索中,R@1 从冻结 DINOv3 的 0.2665/0.2799 提升至 0.5330/0.4940,调和平均从 0.2730 提升至 0.5128。在匹配自监督学习协议下,CINDERS 的四方向平均 R@1 为 0.6014,iBOT 为 0.5527;跨采集调和平均为 0.5128,Relational Knowledge Distillation 为 0.3716。外部 Derm7pt–MILK10K 评估中,作者报告四方向平均 R@1 从冻结 DINOv3 的 0.2961 提升至 0.3665,跨采集调和平均从 0.2638 提升至 0.3621。这些指标衡量检索表现,不能替代诊断 Accuracy 或临床有效性;不同评估范围的数值也不宜直接比较。 复现需核对四个检索方向的定义、检索相关性的判定方式、数据划分与身份去重、骨干冻结范围、训练预算及基线匹配条件。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是通过遮蔽高贡献证据并恢复样本间关系,缓解 EEG 跨被试或跨设备表征不一致。可复用教师—学生关系蒸馏与一致性目标,但须将图像块改为时间片段或通道组,并重新定义多视图及证据排序。该机制依赖教师关系可靠及剩余证据可辨识;低信噪比、小数据、通道差异可能导致关系被伪迹主导或关键神经信息被过度删除。一个可证伪的小实验是在固定 Cross-subject 划分下,比较同一骨干的无遮蔽、随机遮蔽与高排名证据遮蔽,检验关系恢复是否稳定改善预设下游指标。已有 EEG 相关工作尚未检索确认。
值得核对 CINDERS 的关系恢复机制及匹配自监督协议下的检索增益,但皮肤病灶图像结果不能作为其对 EEG 或 BCI 有效的证据。
来源:OpenReview · Representation learning · openreview.net