语言模型中的提升表征假说

基于摘要分析。本文研究 LLMs 如何存储、选择和修订由个别观察归纳出的规则结构，提出 lifted representation hypothesis（提升表征假说）：模型通过共享潜在结构更新记忆，而非仅更新彼此孤立的实例级事实。 在这一框架中，lifting 指利用实例之间的对称性形成共享表征；shattering 则指将粗粒度的共享结构细化为更具体的子类型。论文将二者作为理解规则形成与例外处理的概念框架，摘要尚不足以确定其对应的内部表征如何被测量，也不能据此将该假说视为已获机制性证实。 作者通过受控例外学习实验，在 in-context learning、LoRA 和 full fine-tuning 三种条件下考察 lifting 与 shattering。作者报告，当数据由嵌套规则和例外支配时，LLMs 容易出现 shattering 失败，同时 lifting 往往过早发生。该结果聚焦于规则概括与例外细化之间的关系，而非一般语言任务上的性能提升。 摘要未提供具体模型、数据构造、划分方式、评价指标及定量结果；实验协议、消融及统计信息尚未验证。阅读全文时需核对两类行为的操作性定义、不同学习条件下的评估是否可比，以及行为结果如何支持共享潜在结构这一解释。材料未提供 EEG/BCI 验证或明确的神经信号方法对应关系，因此不据此推断其对 BCI 的有效性。