去噪自回归表征学习

基于摘要分析。该研究面向视觉表征学习，提出 DARL：使用 decoder-only Transformer 自回归预测图像 patch，并引入去噪 patch 解码器，将自回归建模与扩散去噪目标结合，探索兼具视觉感知与图像生成能力的模型。 核心机制方面，作者报告，仅使用 Mean Squared Error（MSE）训练即可获得较强的视觉表征；为增强图像生成能力，方法以扩散目标替换 MSE，并通过去噪 patch 解码器执行预测。摘要未给出扩散目标的具体形式、噪声注入位置或解码器结构，相关实现尚未验证。 作者报告，定制噪声调度以及在更大模型上延长训练能够改善所学表征，且最优调度与标准图像扩散模型常用调度显著不同。在微调评估协议下，作者报告 DARL 的表现接近最先进的掩码预测模型，但摘要未提供数据集、划分、指标、具体分数及对照模型，不能据此判断性能差距或计算效率。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在 EEG 对应路径是假设将连续信号分块，通过自回归预测与去噪学习提取时序表征，以应对低信噪比条件下的特征学习问题。可复用的是自回归与去噪目标结合的思路；需改造信号分块、通道编码及噪声调度。该假设依赖足够的连续 EEG 数据和有意义的分块顺序，原视觉结果不等于 BCI 有效性；跨被试差异、通道布局变化及小数据可能使模型学习噪声或个体特征。一个可检验的小实验是固定 EEG 骨干、预训练数据与训练预算，比较 MSE 自回归目标和去噪目标，在一致的跨被试划分及标签预算下评估同一任务，并检验噪声调度是否带来稳定收益。相关 EEG 工作尚未检索确认。