通过内部优化与动量优化改进上下文学习状态向量

基于摘要分析。本文研究大语言模型 In-Context Learning（ICL，上下文学习）中压缩向量的作用机制及优化方法，提出 state vector（状态向量）概念，并以内部优化和动量优化在测试时逐步改进该向量。 作者将从 Transformer 提取的压缩向量与梯度下降训练的参数进行类比，借鉴 model soup 和基于动量的梯度下降设计优化方法，将其用于测试时自适应。针对大量示例组成的 demonstrations 过长、难以直接用于常规 ICL 的问题，作者还研究多示例状态向量聚合，并提出分治聚合方法。摘要未给出向量提取位置、内部优化的具体含义、目标函数、更新公式或聚合权重，不能据此认定其等同于常规参数微调，也不能将 state vector 与状态空间模型直接等同。 作者报告，在 Llama-2 和 GPT-J 的 zero-shot 与 few-shot 设置下，优化方法改善了状态向量，并在多种任务上达到其所称的最先进性能。摘要未列出任务、数据集、指标、具体数值及对照基线，因而尚不能判断增益大小或不同设置的可比性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制可启发对 EEG 少样本校准中的紧凑任务表征进行聚合与测试时更新，但这是迁移假设，并非本文已验证的 EEG/BCI 结果。原方法依赖 LLM 的示例上下文及其压缩表征，若迁移至 EEG，需要重新定义信号编码、状态提取和适应目标；低信噪比、通道差异及跨被试分布偏移可能使聚合混入不兼容信息，小样本更新也可能不稳定。待取得全文并明确更新规则后，可在固定 EEG 编码器与相同校准样本预算下，对比单一状态、直接聚合和分治聚合的跨被试表现。已有 EEG 相关工作尚未检索确认。