跳到正文
OpenReview · Representation learning· Muhammed Ustaomeroglu; Guannan Qu·· 2026-05-26精选AI 评分73

迈向 LLMs 的有效理论:一种表征学习方法

Towards \textit{Effective Theory} of LLMs: A Representation Learning Approach

AI 导读

基于摘要分析。本文研究如何用学得的宏观状态描述 LLM 的计算过程,而非逐一解释微观激活细节,提出 Representational Effective Theory(RET),旨在建立支持解释、预测和干预的高层计算描述。 机制上,RET 从隐藏状态轨迹中学习宏观状态,采用 BYOL/JEPA 风格的自监督目标,将激活粗粒化为保留预测与解释相关高层结构的宏观变量。摘要未给出具体目标函数、轨迹构造方式或模型结构,不能据此认定其直接采用了 BYOL 或 JEPA 的完整实现。 作者报告,RET 获得的状态具有时间一致性,能够呈现推理中的“心理状态”轨迹、捕捉高层语义结构,并支持对迎合行为(sycophancy)等行为结果的早期预测;作者还报告,这些变量可作为干预生成过程的因果切入点,将生成引导至可解释的计算阶段。其中“心理状态”是对模型计算轨迹的描述,不构成模型具有心理体验的证据。摘要未提供评估模型、数据、基线、指标或干预协议,实验协议、消融及统计信息尚未验证。 该研究的主要对象是 LLM 内部计算,而非 EEG 或 BCI。其从动态轨迹提取宏观状态的思路具有表征分析意义,但材料尚未建立这些变量与神经信号之间的具体对应关系,因此不能将其解释性或干预结果直接外推为 BCI 有效性;相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是 RET 学得的宏观变量能否同时支持时间一致的计算过程描述、行为预判与生成干预,但其有效性及对照证据仍需全文验证。

来源:OpenReview · Representation learning · openreview.net