Free-ATM：利用免费注意力掩码在扩散生成图像上进行表征学习

基于摘要分析。本文研究扩散模型生成的合成图像如何用于视觉表征学习，提出 Free-ATM：利用扩散模型 cross-attention 层中与输入文本对应的注意力掩码，为合成图像预训练提供无需额外标注的辅助信息。主要研究对象是视觉图像，而非 EEG 或 BCI。 核心机制是复用生成过程内部已有的注意力信息。作者分别考察 contrastive learning、masked modeling 和 vision-language pretraining 在扩散合成数据上的问题，并提出利用这些掩码的定制方案。摘要未说明各方案如何构造学习目标、调整样本或整合掩码，因此不能将其具体化为某种损失或网络结构；“无需额外标注”也不等于掩码具有人工标注级的准确性。 作者报告，在使用合成数据的评估前提下，Free-ATM 改善了多种表征学习框架在图像分类、检测、分割和图文检索上的表现，并可加速合成图像预训练、缩小与真实图像预训练之间的性能差距。摘要未提供数据集、划分、基线、指标数值或加速测量方式，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可复用思路是将生成器内部的条件对齐信息作为辅助监督，而不是直接将视觉掩码移植到 EEG。迁移假设依赖于 EEG 条件生成器确实具有与任务相关、且能映射到时间或通道位置的注意力信息；生成器和掩码到信号位置的映射均需改造。低信噪比、跨被试差异及小数据条件可能使注意力主要反映生成伪迹，而非神经活动。可检验的小实验是在固定被试划分、真实与合成数据量及预训练预算下，对比不使用掩码、使用真实注意力掩码和使用打乱掩码的下游解码表现。相关 EEG 工作尚未检索确认。