稀疏自编码器揭示大语言模型中的时序差分学习

基于摘要分析。研究关注大语言模型如何在上下文中解决强化学习（RL）问题，并使用稀疏自编码器（SAEs）分析 Llama 3 70B 的内部表征。作者报告，该模型能够在三个不同任务中解决简单的上下文 RL 问题，其残差流中存在与时序差分（TD）误差高度吻合的表征。 机制分析方面，作者利用 SAEs 检查残差流，并对识别出的表征进行定向干预。作者报告，干预结果支持这些表征因果性地参与 TD 误差与 Q 值的计算，而非仅与相关变量共同变化。这些表征出现在仅以预测下一个 token 为训练目标的模型中，为研究上下文学习与 RL 计算之间的机制联系提供了线索。这里的主要研究对象是 LLM 内部计算，并非 EEG 解码或 BCI 控制。 其可核对的方法价值在于将表征提取与因果干预衔接起来；但摘要未说明三个任务的具体设置、提示与奖励呈现方式、SAE 训练配置、干预对照、定量指标及跨任务一致性。实验协议、消融及统计信息尚未验证，不能据此断言模型完整实现了某种标准 TD 学习算法，也不能外推至复杂 RL 场景。当前材料未建立该机制与 EEG/BCI 瓶颈的具体对应关系，因此不提出迁移实验建议；已有 EEG 相关工作尚未检索确认。