表征如何影响 in-context learning：一项合成任务探索

基于摘要分析。本文研究 Transformer 的 in-context learning（上下文学习）如何受到表征质量影响，提出将表征概念性地区分为由模型权重影响的 in-weight component 和由上下文样本影响的 in-context component，并借助新构造的合成任务分析两者与学习能力的关系。 方法上，作者设计 in-weights probe 与 in-context probe，分别评估两类表征成分。作者报告，在该合成任务中，in-context component 的质量与 in-context learning 表现密切相关；较好的 in-weights component 有助于 in-context component 的学习。由此，作者提出权重内学习应作为上下文学习的基础。摘要未给出探针实现、合成数据生成规则及具体训练与评估协议，因此这些观察的适用边界尚未验证，不能直接推广为所有 Transformer 的普遍机制。 作者还报告，在假设具有完美 in-weights component 的构造条件下，仅依靠模式匹配与复制粘贴机制进行上下文学习的简单 Transformer，可以取得与更复杂、经过充分调优的 Transformer 相近的表现。这一结果的关键前提是理想化的权重表征，并不等同于一般训练条件下简单模型可替代复杂模型；具体指标、对照配置、消融及统计信息尚未验证。 平台推测（待验证）：该分解视角可用于提出 EEG 少样本上下文解码的机制假设，即预训练表征质量可能影响模型利用上下文示例的能力，而非直接提供新的 EEG 解码方法。若开展验证，可固定上下文任务与示例数量，比较不同质量的预训练表征对上下文增益的影响；探针及输入表示需按 EEG 信号与通道结构改造，并控制跨被试划分。低信噪比、被试差异、通道变化与小数据可能使两类成分难以分离。摘要未说明原合成任务依赖的数据结构、监督形式与规模，已有 EEG 相关工作也尚未检索确认。