State Space Duality 注意力的非坍缩

基于摘要分析。本文研究状态空间模型与 Transformer 在序列信息组织和保留上的根本差异，主要贡献是借助 State Space Duality（SSD）的结构化注意力矩阵，分析结构化因果混合器的秩非坍缩，并与因果 softmax 注意力的谱集中现象进行对照。 核心分析对象为 M = L ⊙ QKᵀ，其中 ⊙ 表示逐元素乘积。作者报告，其理论证明表明，有界记忆的 SSD 注意力会将信息分散到随序列增长而增加的方向，并建立结构化因果混合器的秩非坍缩性质。摘要未给出有界记忆的精确定义、各矩阵的约束或定理适用条件，因此不能据此推广到所有状态空间模型。 在因果 softmax 对照中，作者报告，三角掩码本身并不必然造成相对秩坍缩，但具有一致性的早期 token 分数汇聚点可推动注意力趋向坍缩。研究区分相对秩坍缩与绝对谱退化，强调谱集中由掩码结构和分数几何共同决定。作者还报告，随上下文长度变化，受此类汇聚点主导的因果自注意力呈现谱压缩，而具有衰减记忆的 SSD 注意力呈现谱扩散；摘要未提供量化指标、数据或实验设置，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其与 EEG 的潜在对应在于长序列建模中的信息保留，而非已证实的解码优势。可复用的是结构化因果混合与谱分析思路；需进一步明确 EEG 时序 token 化、通道融合和任务监督。低信噪比下，谱扩散也可能保留更多噪声，且跨被试差异、通道变化和小数据训练可能削弱收益。一个可检验的小实验是在固定 EEG 数据划分、输入表示和训练预算下，对照 SSD 与因果 softmax 随窗口长度变化的注意力谱及同一解码任务表现，检验谱扩散是否伴随稳定的任务收益。相关 EEG 工作尚未检索确认。