OpenReview · Representation learning· Chunyuan Deng; Ruidi Chang; Hanjie Chen·· 2025-12-31精选AI 评分74
学习语言模型表征空间中的分布级控制
Learning Distribution-Wise Control in Representation Space for Language Models
AI 导读
基于摘要分析。本文研究如何在语言模型前向传播过程中,通过可学习的表征干预控制模型行为。其核心贡献是将概念子空间中的点式控制扩展为分布级控制,使干预不仅学习单点变换,也覆盖概念子空间的周边区域。 机制上,作者将可学习干预视为表征微调,并以分布级干预扩大控制所覆盖的表征范围。不过,摘要未说明分布的具体参数化、采样方式、损失函数,以及训练和推理阶段如何实施干预,尚不能据此还原算法。 作者报告,在八个常识推理和七个算术推理基准上,分布级干预在可控性与鲁棒性方面持续优于点式干预;作者还报告,该方法在模型早层有效,且较大的标准差与更好的性能存在较强相关性。摘要未提供基准名称、模型配置、数据划分、指标定义及具体分数,因此不能量化提升,也不能将标准差与性能的相关性解释为因果关系。实验协议、消融及统计信息尚未验证。 材料提供了代码仓库,但实现内容、运行条件及其与论文实验的对应关系尚未核验。本文直接研究对象是语言模型行为控制,并非 EEG 或 BCI;其向神经信号表征学习的适用性尚未验证,已有 EEG 相关工作尚未检索确认。
阅读价值
值得核对的是分布级干预相对点式干预的可控性与鲁棒性收益,以及早层干预、分布标准差与性能之间的关系;这些结论目前仅有摘要层面的作者报告支持。
来源:OpenReview · Representation learning · openreview.net