Transformer 如何在简单函数之外进行上下文学习？表征学习的案例研究

基于摘要分析。本文研究 Transformer 如何对超出简单函数类的任务进行上下文学习（ICL），核心是构造具有组合结构的合成任务：输入先经过一个可能复杂但固定的表征函数，再由每个任务实例各不相同的线性函数生成标签，从而区分表征变换与任务内学习。 在该设定下，最优 ICL 算法先对上下文数据进行表征变换，再在变换后的数据上执行线性 ICL。作者从理论上给出能够近似实现这一算法的 Transformer 存在性结果，并称所需深度和规模条件较温和；具体界限与假设尚未验证。作者报告，在所构造的合成任务中，训练后的 Transformer 持续取得接近最优的 ICL 表现，并呈现低层变换数据、高层执行线性 ICL 的分工；摘要未提供具体指标、任务规模或对照数值。 作者进一步通过探针分析及新的 pasting 实验，报告了输入与表征的复制行为、高层单独执行线性 ICL 的能力，以及更困难的混合设定中在 ICL 之后进行表征选择的机制。这些观察与作者的理论解释一致，但不能据此认定真实语言任务或神经信号任务具有相同机制。具体实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 任务能够近似分解为共享表征与随被试或任务变化的线性读出，该框架可作为研究上下文适应的机制假设，而非已验证的 BCI 方法。可复用的是分层探针与模块替换思路；需改造的是 EEG 输入表征及上下文任务构造。低信噪比、跨被试与通道差异可能破坏固定表征假设，小数据也可能不足以学到所需分工。一个可检验的小实验是在固定 EEG 表征上构造不同线性读出任务，检验上层能否仅凭上下文适应，再比较表征随被试变化时该能力是否下降。已有 EEG 相关工作尚未检索确认。