一个 token 需要多少秩？面向秩一 LoRA 专家的噪声底静噪方法

基于摘要分析。本文研究语言模型 LoRA 适配中每个 token 应激活多少秩一分量的问题，提出无需可学习路由器的 SQUELCH，使激活秩随 token 变化，并且不向 LoRA 增加可训练参数。主要研究对象是语言理解与生成任务，而非 EEG 或 BCI。 作者认为，训练后 LoRA 的分量响应由少量大值与高斯噪声底组成，后者宽度接近未训练适配器，主要承载串扰而非适配信息。SQUELCH 根据每个 token 自身的稳健噪声水平进行软阈值处理，再用 Stein 无偏风险估计为每个模块选择阈值倍数，无需指定秩预算；随后在 value Gram matrix 上执行一步 explaining-away，抑制冗余的共同激活分量并引入互补分量。 作者报告了三类理论结果：静噪分配与依赖输入的 oracle 分配之间具有对数因子保证，所选阈值具有风险一致性，explaining-away 是趋向联合稀疏编码的下降步骤，其误差受共同激活分量的相干性控制。具体假设与证明适用范围尚未验证。 作者报告，在使用 LLaMA-3.1-8B、Qwen3 和 DeBERTaV3 的常识推理、知识、数学、代码及 GLUE 评估中，相对 LoRA 提升 2.2–3.2 点，相对最强混合专家基线提升 0.8–1.2 点，每个 token 平均激活 32 个分量中的 8.6 个。摘要未明确这些提升对应的指标、逐项配置与数据划分，不能解读为统一的 Accuracy 百分点提升；激活分量减少也不能直接等同于端到端加速。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 基础模型采用 LoRA，可能复用按 token 自适应选择秩的机制，以处理不同时间片或通道表征的适配需求。该假设依赖训练后分量响应确有可辨识噪声底；EEG 低信噪比、跨被试偏移及小数据可能使弱任务信号被误删，需要重新验证噪声估计与阈值校准。可在固定 Cross-subject 划分下比较同一 EEG 模型的 LoRA 与 SQUELCH，记录原任务指标、激活秩和实际时延，检验稀疏化能否保留性能。相关 EEG 工作尚未检索确认。