使用 De-focus Attention Networks 学习一维因果视觉表征

基于摘要分析。本文研究能否以 1D 因果建模学习图像表征，从而缩小视觉模型与语言模型在架构上的差异，并提出 De-focus Attention Networks，缓解既有 1D 因果视觉模型的注意力过度集中问题。主要研究对象是图像表征及视觉、多模态任务，而非 EEG 或 BCI。 作者将问题概括为“over-focus”：注意力集中于少量视觉 token，限制多样化视觉特征的提取及有效优化梯度的获取。方法使用可学习带通滤波器产生多样化注意力模式；训练时采用较大且随训练调度的 drop path 率，并针对全局理解任务，在全局池化特征上引入辅助损失，以鼓励模型关注更广泛的 token 并改善优化。滤波器的具体实现、辅助损失形式与调度细节尚未验证。 作者报告，在全局感知、密集预测和多模态理解任务上，1D 因果视觉表征可取得与 2D 非因果表征相当的表现。摘要未提供数据集、划分、基线配置或具体指标，因此不能判断各任务的效果差距与计算代价；实验协议、消融及统计信息尚未验证。摘要提供了代码地址，但实现与复现条件尚未核验。 平台推测（待验证）：若因果 EEG 序列模型也出现注意力集中于少量时间 token 的现象，可学习带通滤波与注意力分散策略可能具有参考价值。该假设依赖 EEG 的 token 化方式、时间结构及训练目标，不能直接沿用视觉结果；因果序列建模框架或可复用，但需改造时间与通道表示、滤波参数化及任务损失。低信噪比下扩大关注范围可能引入更多噪声，跨被试与通道差异可能改变有效模式，小数据下额外参数也可能增加过拟合风险。可在固定 Cross-subject 划分、相同骨干及训练预算下，对照加入带通滤波模块前后的任务指标与注意力覆盖范围，检验二者是否共同改善。已有 EEG 相关工作尚未检索确认。