隐藏能力的涌现:探索概念空间中的学习动态
Emergence of Hidden Capabilities: Exploring Learning Dynamics in Concept Space
基于摘要分析。本文研究生成模型会学习哪些抽象概念、以何种顺序学习,以及何时获得操纵概念的能力,提出以 concept space(概念空间)刻画训练过程,区分模型已具备的潜在能力与朴素输入提示能够诱发的外显表现。 该框架将数据生成过程中的独立概念分别作为坐标轴,分析模型在概念空间中的学习动态。作者报告,在所研究的合成玩具数据设置中,被称为 concept signal(概念信号)的数据属性控制概念的学习速度,进而影响学习顺序;学习动态方向的突然转折,与隐藏能力的涌现时刻相对应:此时通过 latent interventions(潜在干预)已可显示模型能够操纵某个概念,但朴素输入提示尚不能诱发该能力。这一区分提示,单凭提示下的表现可能不足以刻画模型训练中的能力状态,但不代表任意潜在干预都能可靠测得能力。 作者据此提出更一般的假设:生成模型的潜在能力可能在训练中突然且一致地涌现,即便朴素提示仍无法使其显现。该概括尚不能视为已在真实数据或更大规模模型上得到验证。摘要未提供 concept signal 的数学定义、概念坐标的估计方式、潜在干预实现、模型配置及定量结果,实验协议、消融及统计信息尚未验证。 本文主要对象是生成模型在合成数据上的学习动态,并非 EEG 或 BCI 方法;现有材料不足以建立具体的神经信号迁移路径,不据此推断 BCI 有效性。
值得阅读之处在于用 concept space 区分概念学习进程、潜在干预可揭示的能力与朴素提示可诱发的表现,但其证据限于合成玩具数据,普遍性尚未验证。
来源:OpenReview · State space models · openreview.net