通过关键表征微调增强思维链推理

基于摘要分析。本文研究大语言模型的思维链（CoT）推理，提出 Critical Representation Fine-Tuning（CRFT）：不再仅修改固定位置的表征，而是通过信息流分析识别并优化对输出影响较大的关键表征，以实现参数高效的推理能力适配。 作者认为，原生 Representation Fine-tuning（ReFT）修改各层起始和末尾固定位置的表征，但这些位置对最终输出的影响不确定。CRFT 关注能够汇聚前面层的重要信息或调节后续层表征的关键位置，在冻结基础模型的条件下，通过监督学习在低秩线性子空间中动态优化相关表征。摘要未说明信息流的具体计算方式、关键位置选择规则、监督目标及训练与推理阶段的干预流程，这些机制尚待全文核对。 作者报告，在 LLaMA 和 Mistral 模型系列上，使用八个算术与常识推理基准验证了方法。GSM8K 上，相对 LLaMA-2-7B 和 ReFT 的 Accuracy 增益分别写为“18.2”和“3.8”，参数用量写为“0.016”；但所给摘要未明确这些数值的单位，不能据此确定是百分比、百分点或参数比例。作者还报告 one-shot 条件下 Accuracy 提升“16.4”，但摘要未交代该数值的单位、对应基准及比较对象，因此暂不能作为可直接复核的性能结论。 复现时应重点核对信息流分析和关键表征选择的计算开销、低秩子空间配置、监督数据与划分，以及对照方法是否使用匹配的训练预算。完整实验协议、消融及统计信息尚未验证。本文主要贡献属于语言模型推理中的表征级参数高效微调，材料未提供 EEG 或 BCI 验证，也不足以据此判断其对神经信号任务的适用性。