论线性注意力中的状态缩减

基于摘要分析。本文研究线性注意力模型的循环隐状态为何呈现低秩结构，以及能否利用这一现象在训练后缩减状态。作者从 key 和 value 对状态秩的影响出发进行理论分析，并提出硬件感知的结构化剪枝框架，在缩减状态规模的同时保持与现有计算内核的兼容性。 机制上，研究将状态秩与记忆容量利用联系起来，通过结构化剪枝 key 与 query 矩阵实现状态缩减。作者在框架内适配了若干已有剪枝策略，并基于理论分析提出一种采用秩揭示 QR 分解的结构化剪枝方法。摘要未给出具体理论条件、剪枝准则、校准数据需求，以及是否需要剪枝后微调，这些尚未验证。 作者报告，在不同规模模型及多种下游任务的评估中，预训练线性注意力模型的状态可缩减至一半，而下一 token 预测能力仅小幅下降。摘要未列明模型、数据集、划分、预测指标及下降幅度，也未提供实测显存、吞吐或延迟收益，因此状态规模缩减不能直接等同于端到端加速；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 序列模型使用具有相同循环状态结构的线性注意力，该方法可能用于降低长序列推理的状态存储开销，但原文研究对象并非 EEG 或 BCI。其迁移依赖 EEG 模型状态也具有可利用的低秩结构，需适配剪枝校准数据及任务评价；低信噪比、跨被试分布变化和小数据可能使校准得到的低秩结构不稳定，或使剪枝损害低能量但有判别力的成分。可在一个已有线性注意力 EEG 模型上，仅用训练集校准，比较剪枝前后固定跨被试划分下的任务性能、状态内存与推理延迟。相关 EEG 工作尚未检索确认。