扩散模型与表征学习:综述
Diffusion Models and Representation Learning: A Survey
基于摘要分析。本文主要研究视觉领域中扩散模型与表征学习的相互关系,贡献是梳理两者的基础、方法分类及待探索问题,而非提出新的 EEG/BCI 算法。 综述覆盖扩散模型的数学基础、常用去噪网络架构和引导方法,并组织了两类研究路径:一类提取预训练扩散模型学到的表征,用于后续识别任务;另一类借助表征学习和自监督学习的进展改进扩散模型。作者将不依赖标签标注的扩散建模视为自监督学习的一种形式;这一定位不意味着所有引导方式或下游识别任务均不需要标签。 摘要未提供具体方法清单、特征提取位置、损失形式、训练规模或识别评估结果,因此无法判断不同扩散表征相对于其他自监督表征的优势。实验协议、消融及统计信息尚未验证。材料提供了综述分类的 GitHub 链接,但仓库内容及其是否包含可运行实现尚未验证。 平台推测(待验证):可迁移的机制假设是,去噪训练中学习到的表征可能为低标签 EEG 识别提供初始化,而非将视觉生成效果直接视为 BCI 有效性证据。迁移依赖未标注 EEG 数据及与其时序、通道结构相匹配的训练表示;可借鉴去噪预训练与下游表征评估流程,但需改造输入编码、噪声设置及特征汇聚方式。低信噪比可能使模型更多学习伪迹,被试差异、通道不一致和小数据规模也可能削弱迁移收益。一个可检验的小实验是:在固定 Cross-subject 划分下,仅用训练被试数据进行去噪预训练,以相同下游分类器和标注预算对比随机初始化及一种自监督基线,核对识别收益是否稳定。已有 EEG 相关工作尚未检索确认。
来源:OpenReview · Representation learning · openreview.net