Associative Transformer 是一种稀疏表征学习器

基于摘要分析。本文主要研究视觉任务中的稀疏表征学习，提出 Associative Transformer（AiT），以低秩显式记忆连接共享工作空间的注意力瓶颈与 Hopfield network 的联想记忆，旨在替代常规 Transformer 中密集的两两注意力交互。 其机制受到 Global Workspace Theory 与联想记忆研究启发：显式记忆既作为先验引导瓶颈注意力，也作为联想记忆中的吸引子。作者称，联合端到端训练使这些先验自然形成模块专门化，各自提供不同归纳偏置；瓶颈则促使输入竞争写入记忆。相较于 Set Transformer 和 Perceiver 使用潜在空间形成容量受限的交叉注意力瓶颈，本文强调可学习记忆先验及其联想吸引子作用。 作者报告，AiT 能通过瓶颈学习不同先验，并称其复杂度对输入数量与维度保持不变；该复杂度主张具体指向哪些计算环节、是否包含输入映射与完整推理开销，尚需全文核对。作者还报告，在多种视觉任务上优于 Set Transformer、Vision Transformer 和 Coordination，但摘要未提供数据集、数据划分、指标或数值，实验协议、消融及统计信息尚未验证，训练监督形式和复现条件亦未明确。 平台推测（待验证）：若低秩记忆能保留任务相关信息并抑制冗余交互，可能对应 EEG 中高冗余时空 token 的表征瓶颈；可复用候选是记忆先验与瓶颈注意力，需改造 EEG 输入编码、通道位置表示和时序建模。该假设依赖足够数据学习稳定先验，低信噪比、跨被试差异、通道变化及小数据均可能使记忆捕获伪相关或丢失弱信号。可在固定的运动想象数据划分下，以相同输入编码和训练预算比较 AiT 与常规注意力，并改变记忆容量，检验分类指标、计算开销与稳定性的权衡。相关 EEG 工作尚未检索确认。