Transformer 概率模型的高效自回归推理

基于摘要分析。本文研究集合式 Transformer 概率模型如何高效生成多个预测目标的联合分布，提出 causal autoregressive buffer，通过缓存上下文并逐步记录已生成目标，减少自回归推理中的重复编码。 原问题涉及 neural processes、prior-fitted networks 和 tabular foundation models 等用于摊销概率推断与元学习的模型：它们擅长单次前向计算的边缘预测，但获得联合分布时通常需要在每个自回归步骤重新编码完整上下文；纯自回归架构则难以兼顾灵活的集合条件化。所提方法只编码并缓存一次上下文，用轻量因果缓冲区捕捉生成目标之间的依赖；每个新预测同时关注缓存上下文和缓冲区内此前生成的目标，从而支持批量自回归采样及联合预测密度评估。训练通过掩码注意力整合集合式与自回归模式，作者称额外开销较小，具体掩码设计、目标函数及缓存实现尚未验证。 作者报告，在合成函数、EEG 时间序列、贝叶斯模型比较任务和表格回归实验中，该方法的表现接近完整上下文重编码，同时联合采样与密度评估速度最高提升至 20 倍、内存用量最高降低至原方法的约七分之一。这些是摘要所述跨任务实验的最高收益，不能归为 EEG 专属结果；各任务指标、EEG 数据集、被试数量、划分协议、硬件条件、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 任务需要多个时间点或通道的联合概率预测，该机制可能减少长上下文下的重复编码成本；可复用的是上下文缓存与因果缓冲区，EEG 输入表示、通道与时间编码及预测目标仍需适配。低信噪比和跨被试分布差异可能造成预测误差累积，单步边缘预测任务也未必获益。可在固定 EEG 数据划分、相同训练预算及采样长度下，对比缓冲区方案与完整重编码的联合预测密度、运行时间和峰值内存，检验效率收益是否伴随预测质量下降。摘要已包含 EEG 实验，但其任务是否属于 BCI、以及其他相关 EEG 工作，尚未检索确认。