通过内部优化与动量优化改进上下文学习状态向量

基于摘要分析。本文研究大语言模型上下文学习（In-Context Learning，ICL）中，由 Transformer 提取的压缩向量如何表征示例所诱导的功能，以及如何进一步优化这些向量。作者提出 state vector 概念，引入内部优化与动量优化，并以分治聚合处理大量示例难以直接放入常规 ICL 上下文的问题。 机制上，作者将 state vector 与通过梯度下降训练的参数作类比，借鉴 model soup 和基于动量的梯度下降，在测试时自适应过程中逐步改进向量。针对多示例场景，作者还研究 state vector 聚合，并提出 divide-and-conquer aggregation。摘要未给出向量提取位置、内部优化目标、更新公式及聚合细节，因此不能将其等同于常规参数微调，也不能仅凭来源栏目将其认定为状态空间模型研究。 评估方面，作者在 Llama-2 和 GPT-J 上开展 zero-shot 与 few-shot 实验，并报告优化方法改善了 state vector，在多种任务上达到当时最优表现。摘要未提供具体任务、数据集、指标、数值或基线，尚不能核对这一性能主张；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 任务已具备可供语言模型使用的信号表征或示例编码，该机制或可用于压缩校准示例并研究测试时适配，但原研究对象是 LLM 的 ICL，并未提供 EEG/BCI 有效性证据。可复用部分可能是向量更新与分治聚合思路；需改造信号到模型输入的接口，并核对优化所需监督。低信噪比、通道配置变化及小样本跨被试差异可能使向量聚合损失判别信息。一个可证伪的小实验是假设固定 EEG 表征与数据划分，在相同校准示例预算下比较直接 ICL、未优化向量和优化向量，检验收益能否在跨被试评估中保持。已有 EEG 相关工作尚未检索确认。