跳到正文
OpenReview · State space models· Maciej Pióro; Maciej Wolczyk; Razvan Pascanu; Johannes von Oswald; João Sacramento·· 2024-01-01精选AI 评分70

State Soup:上下文技能学习、检索与混合

State Soup: In-Context Skill Learning, Retrieval and Mixing

AI 导读

该研究面向预训练门控线性循环模型,探索能否将上下文学习形成的内部状态作为任务向量进行存储、检索与线性组合,从而在不进行参数合并的情况下实现快速技能混合。基于摘要分析,作者在 Mamba-2.8b 上报告了初步证据:简单的线性状态插值可改善下一 token 的困惑度及下游上下文学习任务表现;摘要未提供具体任务、对照、划分或数值。 核心思路受到参数插值式模型合并的启发,并利用微调与上下文学习之间的类比,将合并对象从模型参数转向循环内部状态。其机制依赖循环更新的线性性质以及模型以状态压缩历史信息的结构。摘要尚不足以确定任务状态如何构造、检索依据是什么、插值权重如何选择,以及是否需要额外监督或训练。状态混合也不能仅凭循环的线性性质就被视为语义技能的可靠组合;实验协议、消融及统计信息尚未验证。 平台推测(待验证):这一思路可能对应 EEG 流式建模中历史上下文复用与跨会话校准的需求,但前提是 EEG 模型具有可操作的循环状态,且状态确实承载可迁移的任务信息。可复用的是状态缓存、检索和插值机制;输入编码、通道对齐与任务输出模块需针对 EEG 改造。低信噪比、被试差异和通道变化可能使状态主要编码伪迹或个体特征,小数据条件下检索与插值权重也可能不稳定。一个可检验的假设是:在固定 EEG 循环模型与严格跨会话划分下,仅使用训练会话构建状态库,比较状态重置、单一状态复用与线性状态混合,检验混合是否带来稳定收益。该假设不属于原论文已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是将 Mamba 内部状态视为可存储、检索和线性混合的任务向量这一机制;作者提供了初步性能证据,但其适用条件及 EEG 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net