面向有限且不平衡数据深度学习的前置任务表征迁移:应用于基于 CT 的 COVID-19 检测
Pre-text Representation Transfer for Deep Learning with Limited and Imbalanced Data: Application to CT-Based COVID-19 Detection
基于摘要分析。该研究针对 CT 图像中的 COVID-19 检测,提出 Pre-text Representation Transfer(PRT),旨在缓解医学图像标注昂贵、训练样本有限且类别不平衡,以及自然图像与医学图像之间域差异带来的迁移困难;研究对象并非 EEG 或 BCI。 机制上,常规迁移学习通常替换源模型的分类层后进行微调,PRT 则保留原分类层,通过无标注前置任务更新表征层。该任务使用真实而非合成的医学图像,不使用这些图像的标注。迁移后的模型既可作为特征提取器,也可进一步执行常规迁移学习。作者还设计了基于协同表示的分类层,并将其输出与在 PRT 模型上继续进行常规迁移学习所得模型的预测融合。摘要未给出前置任务的具体定义、损失函数及融合规则。 作者报告,在基于 CT 的 COVID-19 检测中,对三个大规模模型开展五折评估,并测试五种类别不平衡比例,所提方法相对常规迁移学习获得一致提升。摘要未提供模型名称、数据集、样本量、不平衡比例具体取值、评价指标或增益幅度;五折划分是否按患者隔离、无标注数据与测试数据的关系,以及消融和统计信息尚未验证。 平台推测(待验证):可迁移的假设是,利用目标域无标注数据进行前置任务训练,可能缓解 EEG 小样本监督学习中的表征失配。可复用的是目标域无标注表征适配及后续分类流程;需重新设计 EEG 前置任务、输入适配和源分类层的兼容方式。低信噪比、被试差异、通道配置变化及有限无标注数据均可能使这一假设失效。一个可证伪的小实验是在固定跨被试划分和标注预算下,仅用训练被试数据进行适配,比较直接微调、PRT 后微调及加入分类融合的结果,并预先规定适合类别不平衡的指标。该设想不代表已验证的 EEG 效果,已有 EEG 相关工作尚未检索确认。
值得核对其保留原分类层、以无标注医学图像更新表征的迁移机制,以及该机制与协同表示分类及预测融合各自对小样本、类别不平衡问题的贡献;摘要尚不足以验证各模块的独立收益。
来源:OpenReview · Representation learning · openreview.net