通过内部优化与动量优化改进上下文学习状态向量

基于摘要分析。本文研究 Large Language Models（LLMs）的 In-Context Learning（ICL，上下文学习）如何由 transformer 中提取的压缩向量表征，以及如何优化这些向量。作者引入 state vector（状态向量）概念，将其与通过梯度下降训练的参数进行类比，并提出测试时逐步优化与多示例聚合方法。 机制上，作者受 model soup 和基于动量的梯度下降启发，提出 inner optimization 与 momentum optimization，用于在测试时自适应过程中逐步改进 state vector。针对示例数量较多、完整 demonstrations 过长而难以直接用于常规 ICL 的情形，作者进一步提出 divide-and-conquer aggregation（分治聚合）。摘要未说明状态向量的提取位置、内部优化目标、动量更新公式及聚合规则，不能据此将其等同于常规参数微调。 作者报告，在 Llama-2 与 GPT-J 的 zero-shot 和 few-shot 设置下，所提优化方法改善了状态向量，并在多种任务上达到其所称的最先进表现。摘要未提供任务与数据集名称、指标、具体数值及对照细节，因此尚不能核对性能提升幅度及比较条件；实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但实现与复现条件尚未核验。 平台推测（待验证）：可考察的迁移假设是，将校准示例压缩为任务状态，再通过聚合与优化减少长上下文开销；这可能对应 EEG 少样本校准问题，但原方法依赖 LLM 的示例上下文与内部表征，不能直接套用于连续 EEG。若探索迁移，需要重新定义 EEG 编码、状态提取及更新目标；低信噪比、通道差异、跨被试偏移和小数据均可能使压缩状态丢失判别信息。一个可证伪的小实验是在固定 EEG 编码器和相同校准样本预算下，对比直接示例条件化、状态聚合与状态优化，并独立评估跨被试表现。此方案并非论文已验证结果，已有 EEG 相关工作尚未检索确认。