权重读取与写入特征:以激活空间为依据的可扩展参数分解
Weights Read and Write Features: Scalable Parameter Decomposition Grounded in Activation Space
基于摘要分析。本文研究预训练大语言模型中激活所表征的信息如何与权重执行的计算相对应,提出 Activation-Supported Parameter Decomposition(ASPD),联合分解激活空间与参数空间,使每个学习到的权重分量对应其读取或写入的激活特征。 核心机制是利用模型内部激活约束原本不唯一的参数分解,并通过内部重建目标,在被分析的权重矩阵处提供局部学习信号。相较于分别研究激活与参数的方法,ASPD 的重点是建立特征表征与参数计算之间的明确联系;所得读取—写入分量还可组合成参数级机制回路。摘要未给出分解的具体数学形式、重建损失、优化流程或计算开销,相关细节尚未验证。 作者报告在 Qwen-3-8B 上展示了可扩展、可解释且可进行因果编辑的参数分解,并使用 ASPD 恢复经典 IOI circuit 背后的机制、追踪语义信息经模型权重发生的变换。摘要未提供量化指标、数据划分、对照基线或编辑效果的评估协议,实验协议、消融及统计信息尚未验证;不能据此判断机制恢复的完整性或因果编辑的稳健性。 平台推测(待验证):若 EEG 解码模型的内部激活具有可稳定识别的任务相关特征,ASPD 或可用于分析这些特征如何被权重读取、转换和写入,但大语言模型上的结果不等于 BCI 有效性。可复用的候选模块是激活约束的参数分解与局部重建目标,需适配 EEG 模型的时序、通道结构及激活采样方式。低信噪比、跨被试差异、通道变化与小数据可能使分解捕获伪迹或被试特征,而非任务机制。一个可检验的小实验是在固定 EEG 解码模型和数据划分下,对候选任务相关分量进行干预,同时核对预测变化与重建误差,以检验局部重建质量是否对应任务层面的因果作用。已有 EEG 相关工作尚未检索确认。
ASPD 将权重分解与其读取、写入的激活特征对应起来,为核对参数级机制解释与因果编辑提供了具体方法线索,但其可扩展性、编辑效果及向 EEG 模型迁移的适用性尚未验证。
来源:OpenReview · State space models · openreview.net