通过平衡自注意力匹配进行无监督表征学习

基于摘要分析。本文研究图像无监督表征学习中的优化不稳定与特征坍塌问题，提出 BAM（Balanced Self Attention Matching）：不直接对齐同一图像不同增强视图的特征，而是匹配各视图相对于批内全部增强图像的相似度分布。 核心机制是将这些相似度分布作为自注意力向量，通过简单的 self-optimal-transport 计算得到全局平衡、带熵正则化的目标分布，再最小化分布匹配损失。相较于直接匹配特征，BAM 将学习目标转向样本与批内其他视图的关系结构。作者将该机制用于获得丰富表征并避免特征坍塌；具体损失表达式、平衡约束与优化过程尚未验证。 作者报告，在半监督和迁移学习基准的广泛实验中，BAM 与领先方法具有竞争力，并开展了消融验证。摘要未提供具体数据集、指标、数值、划分和对照配置，实验协议、消融及统计信息尚未验证。摘要说明实现与预训练模型已公开，但其运行条件和复现细节尚未核对。 平台推测（待验证）：该机制可能用于 EEG 自监督表征学习，假设是跨增强视图的批内关系分布比直接特征对齐更适合保留任务相关结构。可复用分布匹配与平衡目标计算，但需改造 EEG 编码器及增强策略；其效果依赖批内样本关系和增强后的语义一致性，所需批次规模尚不明确。低信噪比、通道差异及跨被试变化可能使关系分布主要反映噪声或被试身份，小数据下平衡约束也可能不符合真实分布。可在固定 EEG 数据划分、编码器和增强策略下，对比 BAM 目标与直接特征匹配，并消融平衡约束，分别检查表征坍塌及 Cross-subject 下游表现。已有 EEG 相关工作尚未检索确认。