Transformer 如何在简单函数之外进行上下文学习？以基于表征的学习为例

基于摘要分析。本文研究 Transformer 能否在超出简单函数类的任务中进行上下文学习（ICL），核心是将复杂但固定的表征函数与每个任务实例中变化的线性函数组合，考察模型是否学会先变换输入表征、再执行线性 ICL。 研究对象是具有组合结构的合成 ICL 问题，而非 EEG 或其他神经信号任务。按任务构造，最优 ICL 算法先用固定表征函数变换上下文中的输入，再在变换后的数据上进行线性 ICL。作者从理论上给出能够近似实现该算法的 Transformer 存在性结果，并将所需深度和规模描述为温和；摘要未提供具体界限或适用条件。 作者报告，在所构造的合成任务中，训练后的 Transformer 持续取得接近最优的 ICL 表现，并呈现低层变换数据、高层执行线性 ICL 的分工。通过探查及新的 pasting experiment，作者进一步观察到输入与表征的复制行为、高层独立执行线性 ICL 的能力，以及更困难的混合设定中在 ICL 后选择表征的机制。摘要未提供具体指标、训练规模、数据划分与基线细节，实验协议、消融及统计信息尚未验证；存在性结果也不应等同于任意 Transformer 都能通过训练获得相同机制。 平台推测（待验证）：若 EEG 任务能够近似分解为共享表征与任务特定线性读出，这一机制可为利用少量带标签上下文进行适应提供研究假设。可复用的是分层表征与上下文线性学习的分析框架；需改造输入编码、通道对齐及任务构造。低信噪比、跨被试表征变化、通道差异和小样本可能破坏固定表征假设。可先在固定通道的单一 EEG 任务中，对比共享编码器加上下文线性读出与端到端 ICL，并通过层间探查检验是否出现相似分工。该实验仅为迁移假设，相关 EEG 工作尚未检索确认。