跳到正文
OpenReview · State space models· Core Francisco Park; Maya Okawa; Andrew Lee; Ekdeep Singh Lubana; Hidenori Tanaka·· 2024-09-26精选AI 评分76

隐藏能力的涌现:探索概念空间中的学习动态

Emergence of Hidden Capabilities: Exploring Learning Dynamics in Concept Space

AI 导读

基于摘要分析。本文研究生成模型会学习哪些抽象概念、学习顺序由什么决定,以及何时获得操控这些概念的能力,提出以 concept space(概念空间)描述训练过程:每个坐标轴对应数据生成过程中的一个独立概念。 作者报告,在合成定义的玩具数据集上,称为 concept signal(概念信号)的数据属性控制概念的学习速度,进而影响学习顺序。作者还观察到,模型在概念空间中的学习轨迹会突然转向,且这些转折点与隐藏能力的涌现相对应:通过 latent interventions(潜在干预)可以显示模型已具备操控某个概念的能力,但朴素输入提示尚不能引出该能力。这里的关键区分是“能力存在”与“提示能够调用”,不能仅因普通提示失败就认定模型没有学会相应概念。 作者进一步提出,这类潜在能力可能在生成模型训练中突然且稳定地涌现;这是从玩具实验出发的一般性假设,而非已在真实复杂数据上验证的结论。摘要未提供概念信号的数学定义、潜在干预方式、模型与训练规模、定量指标;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该框架或可用于分析 EEG 生成式预训练中,任务相关信息是否已被表征但尚未被下游接口有效调用。不过,它依赖可识别的概念轴及可解释的干预,真实 EEG 的低信噪比、概念纠缠和跨被试差异可能破坏这一前提,需重新定义概念坐标与干预模块。一个可证伪的小实验是在具有已知独立生成因素的合成 EEG 上,比较各训练检查点中普通条件输入与潜在干预的概念操控表现,检验能力差异是否与学习轨迹转向同步;不能将其视为已证实的 BCI 效果,相关 EEG 工作尚未检索确认。

阅读价值

该研究提供了区分“模型尚未学会”与“已有潜在能力但普通提示无法引出”的分析框架,值得核对其概念信号与潜在干预的定义,但结论目前限于合成玩具数据。

来源:OpenReview · State space models · openreview.net