先组织,再读取:通过结构化状态表示重新思考 Token 混合
Organize, Then Read: Rethinking Token Mixing via Structured State Representation
基于摘要分析。本文面向具身策略学习,研究源 token 在被查询读取前应如何组织,提出 Structured State Representation(SSR),以“先组织、再读取”替代直接的两两注意力交互,而非仅优化交互的二次计算成本。 机制上,每个 head 内设置跨样本共享的可学习状态中心,作为组织源信息的公共地址。源 token 经竞争性分配与聚合形成随输入变化的状态,随后查询从紧凑状态库中选择性读取。该设计将源信息组织与查询读取解耦;在状态数量固定的前提下,token mixing 具有线性复杂度,无需构造稠密的 query–source 交互矩阵。具体分配函数、训练目标与状态数量尚未验证。 作者报告,在 ACT 和 Diffusion Policy 的受控算子替换实验中,SSR 与标准 attention 表现相当,并在部分设置中取得提升,其中包括使用人类示范的设置。作者报告的定性潜在表示分析提示,其表示几何与任务进程更一致,同时与 Transformer 表示保持较高对应性。摘要未给出数据集、任务规模、指标数值及具体划分,实验协议、消融及统计信息尚未验证,不能据此推断其普遍优于 attention。 平台推测(待验证):若 EEG 时序或时空 token 存在可重复的潜在状态,SSR 的“聚合后读取”机制可能适用于压缩长序列交互。可复用的是状态组织与读取算子,需改造 EEG token 编码、通道与位置信息处理;跨被试差异、低信噪比和小数据可能使共享状态中心聚合噪声或忽略短暂事件。一个可证伪的小实验是在同一 EEG 编码器、数据划分和训练预算下,仅替换 attention 为 SSR,分别核对被试内与跨被试性能及计算开销。该实验属于迁移假设,不是本文结果;已有 EEG 相关工作尚未检索确认。
值得阅读其将源信息组织与查询读取分离的 token mixing 机制,以及在 ACT 和 Diffusion Policy 中的受控算子替换实验;其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net