跳到正文
OpenReview · State space models· Core Francisco Park; Maya Okawa; Andrew Lee; Ekdeep Singh Lubana; Hidenori Tanaka·· 2024-01-01精选AI 评分75

隐藏能力的涌现:探索概念空间中的学习动态

Emergence of Hidden Capabilities: Exploring Learning Dynamics in Concept Space

AI 导读

基于摘要分析。本文研究生成模型会学习哪些抽象概念、以何种顺序学习,以及何时能够操纵这些概念,提出以 concept space(概念空间)刻画训练期间的学习动态。其主要研究对象是合成玩具数据上的生成模型,并非 EEG 或 BCI 模型。 该框架将数据生成过程中的独立概念分别作为坐标轴。作者报告,在所研究的合成数据设置中,概念学习速度及顺序受其称为 concept signal(概念信号)的数据属性控制;学习轨迹还会出现方向突然转折的时刻,与隐藏能力的涌现相对应:潜在空间干预能够显示模型已具备操纵某个概念的能力,但普通输入提示尚不能引出该能力。摘要未给出 concept signal 的数学定义、潜在干预的具体实现或定量指标,实验协议、消融及统计信息尚未验证。 作者进一步假设,生成模型可能在训练中突然且一致地形成潜在能力,而常规提示未必能揭示它们;这属于待推广的假设,不能视为真实大规模生成模型上的既定结论。 平台推测(待验证):这一分析框架可能有助于区分 EEG 表征“未编码任务因素”与“已编码但现有读出未能提取”的情况,但其依赖可识别的概念轴和可控干预,真实 EEG 中的因素混杂、低信噪比及跨被试差异可能破坏这些条件。若作小规模检验,可先在具有已知生成因素的合成 EEG 上,追踪训练过程中固定读出与受控潜在干预的结果是否出现分离;需要重新定义 EEG 概念轴及有效干预,不能直接照搬原论文结论。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以 concept space 区分“尚未学会”与“已具备但普通提示无法引出”的分析思路,但证据限于合成玩具数据,向真实生成任务及 EEG 的推广尚未验证。

来源:OpenReview · State space models · openreview.net