面向扩散模型的基于 Transformer 的上下文得分算子学习

基于摘要分析。本文研究扩散模型如何仅凭少量示例适应训练时未见的目标分布，提出上下文解算子学习框架：将每个目标分布视为元分布中的一个任务，在推理时用经验上下文集指定任务，无需重新训练或更新参数即可进行反向扩散采样。 核心机制是学习一个 score 算子，将上下文样本、含噪查询点及扩散时间映射为任务相关的 score。作者指出，该 score 具有高斯核条件均值表示，其经验 Nadaraya–Watson 近似可由所构造的 Transformer 模型类精确表示，从而为依赖查询的注意力架构提供理论依据。这里的精确表示针对经验近似，不应理解为对任意真实分布 score 的精确恢复。训练采用跨任务分布的摊销去噪得分匹配。 理论方面，作者建立了泛化误差界，刻画上下文样本量、训练任务数量、任务内样本量、模型复杂度以及内在维度和环境维度的影响。数值实验涉及 Navier-Stokes、ERA5 气候数据、QuickDraw 和 Food-101；作者报告，在相对简单的任务族上表现较好，但随任务复杂度增加而退化。摘要未提供具体指标、数值、任务划分或对照基线，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若能将不同被试或会话的 EEG 分布组织为训练任务，并在测试时提供同类上下文样本，该机制可能用于研究不更新参数的分布适配，但原文研究对象是通用分布生成，并非 EEG 解码。可复用部分是上下文条件 score 算子与跨任务训练框架；需要改造信号表示、通道对齐及任务定义。低信噪比、通道差异和少量上下文可能使核条件均值难以反映目标分布，复杂任务下的退化尤其需要核对。一个可证伪的小实验是在固定通道与预处理条件下，以训练被试构建任务、保留未见被试，比较不同上下文规模下的生成分布匹配表现及其对下游解码的影响；不能预设生成质量等于 BCI 收益。已有 EEG 相关工作尚未检索确认。