跳到正文
OpenReview · Representation learning· Vinayak Raj Urs; Harika Mahapatra·· 14 天前精选AI 评分75

逻辑信息何时涌现:语言模型中的可恢复性、行为表达与表征稳定性

When Logical Information Emerges: Recoverability, Behavioral Expression, and Representation Stability in Language Models

AI 导读

基于摘要分析。本文研究语言模型表征中可被探针恢复的逻辑信息,是否也会体现于输出行为、跨等价输入迁移及因果干预效果。核心贡献是通过受控命题蕴涵任务,将可恢复性、行为表达、可迁移性与因果可控性作为不同的经验属性分别检验,而非以高探针准确率替代其他证据。 研究使用固定基准,包含1,200个经符号验证的实例,组织为600组配对的True/False样本,覆盖三种逻辑模板。作者在Gemma-2-2B-IT、Phi-2、Qwen2.5-3B-Instruct及Mistral-7B-Instruct-v0.3上使用嵌套分组探针评估。作者报告,四个模型的蕴涵标签恢复Accuracy依次为91.58%、94.79%、87.17%和99.83%;具体分组单位及训练、验证划分仍需正文核对。 作者报告,Mistral的分离现象最明显:探针Accuracy为99.83%,但直接行为评估为50.67%,强制True/False选择为51.50%。等价输入迁移也并不充分:canonical-to-reordered迁移Accuracy为36.58%,而reordered-to-reordered条件下的可恢复性为88.08%。这些是不同评估条件,不能直接视为同一协议下的性能排名。作者还报告,纯文本TF-IDF不能可靠恢复标签,表征引导干预的效果较小且依赖模型;干预实现、效应量、消融及统计细节尚未验证。 平台推测(待验证):可迁移的主要是评估逻辑,而非已验证的EEG解码算法。假设EEG表征中的任务标签可解码性也可能与实际任务使用及跨条件稳定性分离,则可复用分组探针和迁移评估框架,但需按被试、会话及试次依赖关系改造划分,并另行定义行为证据与合法干预。一个小规模可证伪检验是固定同一EEG编码器,在严格分组划分下比较被试内探针表现与跨会话迁移;若两者一致,则不支持该数据上的分离假设。低信噪比、通道变化及小样本可能使探针结果不稳定,且离线迁移仍不能证明因果使用。已有相关EEG工作尚未检索确认。

阅读价值

该研究用受控逻辑任务区分探针可恢复性、行为表达、等价输入迁移与因果可控性,值得用于审视“能从表征解码”是否足以支持模型实际利用该信息的结论,但其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net