跳到正文
只看学习与优化#Pretraining
10月8日周四
  1. arXiv · 泛化与分布偏移78

    LLM 的摊销式离策略评估

    基于摘要分析。研究针对 LLM 候选模型的离线部署评估：既有模型产生的日志与候选模型响应之间存在策略偏移，业务要求变化又会带来奖励偏移。作者提出 PFN-OPE，以 prior-data fitted network 在上下文老虎机任务分布上预训练，将离策略评估（OPE）的拟合成本摊销到多个任务。 核心机制是利用 LLM 响应池及多个奖励函数构造同时包含两类偏移的预训练任务。测试时，模型接收日志数据集以及每个提示的一条采样目标响应，通过单次前向推理输出价值估计，无需逐任务重新拟合。其方法重点不是重新定义奖励，而是学习跨任务复用的评估映射；预训练任务分布对部署条件的覆盖程度，是理解泛化能力时需要核对的关键。 作者报告：在 HelpSteer2 和 UltraFeedback 上，使用 Qwen、Llama 与 Gemma 策略，在奖励发生偏移的设置中，PFN-OPE 在所有已测试配置下相对最佳基线取得了原文表述为“2.0 至 9.3 倍更低”的误差。摘要未明确误差指标、具体模型版本、训练与测试划分，以及策略偏移和奖励偏移的构造方式，因此不能将该倍数换算为 Accuracy 提升或直接外推到未测试配置。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 系统记录了上下文、决策动作及反馈奖励，这种摊销式 OPE 机制可能用于评估解码策略更新或反馈目标变化，而非直接作为 EEG 特征提取方法。可复用部分是跨任务评估器，需改造任务生成、动作表示和奖励定义；EEG 低信噪比、跨被试变化、小规模日志及行为策略覆盖不足均可能使估计失效。一个可证伪的小实验是在具有已知策略价值的模拟上下文老虎机任务中引入被试差异和奖励变化，比较预训练评估器与逐任务 OPE 基线的价值估计误差。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 PFN-OPE 将持续部署中的策略偏移与奖励偏移共同纳入摊销式离策略评估，并以单次前向推理替代逐任务拟合；其误差优势仍需结合全文中的划分、误差定义及基线协议核对。

10月6日周二
  1. arXiv · 时序与音频基础模型82

    时序基础模型中的上下文系统辨识衰减：反事实输入诊断与合成受迫系统微调修复

    基于摘要分析。研究考察带协变量的时序基础模型能否利用上下文回答受迫工程系统的反事实问题，即未来输入变化会如何改变输出。作者通过精确反事实对照诊断动态响应缺陷，并尝试以推理时上下文扰动和合成受迫系统微调修复。 研究比较 Chronos-2、TimesFM-2.5、TabPFN-TS 与使用相同上下文拟合的经典系统辨识方法。作者报告，通过默认协变量接口，TimesFM-2.5 和 TabPFN-TS 对输入变化的预测效应呈无记忆特征，即仅依赖同一时刻的输入变化；Chronos-2 能在上下文中辨识动态，但预测效应仅为真实效应的 0.33–0.80，恢复的脉冲响应形状也不正确。这些结论针对所测接口与系统，不宜外推为模型所有配置下的性质。 作者报告，在单自由度振子实验中，Chronos-2 使用 8192 个上下文样本时误差趋于 0.57，而 ARX 使用 256 个样本时达到 0.02；摘要未说明该误差的定义与归一化方式。推理时上下文扰动在全部六类合成系统上降低了反事实预测误差。一次耗时 26 分钟的合成受迫系统微调将响应敏感度恢复至 0.83–0.96，并在 Wiener-Hammerstein 和留出的摩擦系统类别上优于不预设结构的辨识方法；硬件及训练配置尚未验证。使用相同数据训练的专用上下文辨识器表现接近，作者据此认为受迫系统训练数据贡献了大部分增益。 边界同样重要：作者报告，在四个实测系统中的三个上，经典辨识仍明显更优，且微调损失了部分单变量预测能力。成对反事实输入与实测记录中打乱的未来输入共同检验接口能否表达动态、预训练先验是否覆盖系统时间尺度；作者指出，只有反事实配对暴露了响应衰减。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该诊断思路可能用于具有明确外部输入的 EEG 刺激响应建模，而非直接用于一般 BCI 分类。可复用反事实配对与脉冲响应检验，但需改造通道表示及被试条件建模；低信噪比、潜在混杂和小数据可能使真实响应无法辨识。一个小实验是在已知输入—响应卷积系统中加入 EEG 背景噪声，比较基础模型与 ARX 的响应恢复误差，并留出响应时间尺度测试泛化。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究用精确反事实输入区分协变量接口的动态表达能力与上下文辨识衰减，并比较合成受迫系统微调和经典系统辨识，值得核对其诊断协议及修复收益与预测能力损失之间的权衡。

  2. arXiv · 时序与音频基础模型84

    时序基础模型的尺度不变训练

    基于摘要分析。本文研究时序基础模型在混合不同数值尺度的数据集上训练时，损失计算方式如何改变各序列的训练权重，提出在缩放后的目标上计算损失的尺度不变训练（ScaleIn），并给出理论分析与预测实验。 核心机制是区分输入归一化与损失计算空间。作者指出，Reversible Instance Normalization（ReVIN）等仿射缩放方法若在计算损失前逆变换回原始尺度，相比在缩放目标上计算损失，每条序列的梯度会被乘以 b^p，其中 b 为缩放分母（如标准差），p 为损失的齐次次数。作者将其称为尺度污染训练（ScaleCon）：原始数值尺度成为隐式重要性权重，使大尺度序列主导训练。作者证明，在缩放器具有尺度等变性、残差损失为 p 次齐次函数的条件下，ScaleIn 可使每个 mini-batch 的梯度及整个优化轨迹对训练序列各自独立的任意重缩放保持不变；适用损失包括 MSE、MAE 和 Quantile Loss。这是有条件的尺度不变性结论，不等同于对所有归一化与损失组合均有效。 作者报告，在合成与真实数据的受控研究中观察到两类训练目标的收敛差异；在四种 TSFM 架构的预训练评估中，ScaleIn 在全部 24 个架构—基准比较中降低 MASE，各 TSFM 的平均降幅在 GIFT-Eval 上为 18.8%，在 M-competitions 上为 21.9%。作者还报告，在监督式神经预测的 20 个匹配设置中，有 16 个设置降低 MASE，并称多数现有预测流程可通过一行代码修改采用该方法。具体架构、训练规模、数据划分、基线配置、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能对应 EEG 跨被试、跨会话或跨设备训练中的幅值差异，但原领域结果不等于 BCI 效果。可复用的是连续值预测或重建任务中缩放目标与损失空间的一致性；需核对按通道还是按试次缩放，以及逆变换的位置。若幅值本身包含任务信息，或低信噪比、小数据条件下尺度估计不稳定，等权化也可能削弱有效信号。一个可检验的小实验是在固定 EEG 预测划分、模型与随机种子的前提下，仅比较 ScaleCon 与 ScaleIn，并对训练序列独立重缩放，检验梯度一致性及测试误差；分类损失不能直接套用上述结论。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对时序模型归一化后训练损失的计算空间：作者给出尺度影响梯度的理论条件，并报告匹配实验中的预测改善，但其对 EEG/BCI 的价值尚未验证。

10月5日周一
  1. arXiv · 时序与音频基础模型73

    正常性约束学习：将基础模型适配于时间序列异常检测

    基于摘要分析。研究针对时间序列基础模型（TSFMs）可能同时准确重建或预测正常与异常模式、导致误差型异常评分失去区分能力的问题，提出轻量、即插即用的 Normality Constraint Learning（NCL）。其核心贡献是在不修改预训练参数的条件下，将模型的广泛模式建模能力约束到目标时间序列的正常结构。 机制上，NCL 从少量正常 patch 特征构建紧凑的正常性子空间，通过对比约束形成紧凑且具有区分性的正常性流形，并在该子空间内自适应地引导各 patch 特征向正常结构靠拢。校准后的特征经聚合以强化正常成分，再与原始 TSFM 输出融合，以扩大正常与异常观测在重建或预测误差上的差异。摘要未提供子空间构建算法、对比损失形式、融合方式及额外训练成本，这些实现细节尚未验证。 作者报告，在多类 TSFM 与多个基准上的实验中，NCL 持续改善异常检测性能；但摘要未列出具体模型、数据集、指标、数值、划分或对照基线，不能据此判断改善幅度及适用边界。复现时需核对正常 patch 的来源与筛选条件、异常评分和阈值设定，以及不同组件的消融与统计信息；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于 EEG 异常片段或伪迹检测，NCL 的正常结构约束可能缓解基础模型将异常也重建得过好的问题，但这不等同于已验证的 BCI 解码收益。该假设依赖少量正常片段能够代表目标分布；可复用正常性子空间与特征校准思路，需适配 EEG 的多通道特征、patch 划分及评分方式。低信噪比、跨被试或跨会话差异、通道变化及小数据可能使正常子空间不稳定，或将有意义的神经活动误判为异常。一个可检验的小实验是在固定被试内划分、相同冻结骨干和相同正常训练片段下，对比原始误差评分与 NCL，并改变正常片段数量以检验收益稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其在冻结 TSFM 预训练参数的条件下，能否通过正常性子空间恢复误差型异常评分的区分能力，尤其需要验证正常样本选择与不同异常类型对收益的影响。

10月4日周日
  1. arXiv · 学习目标与优化75

    PWM：通过在线强化学习实现个性化世界模型

    基于摘要分析。该研究针对预训练世界模型难以根据用户短视频定制特定场景、同时保持动作条件生成质量的问题，提出 Personalized World Models（PWM），通过在线强化学习学习场景专属适配器，并引入 PWM-Bench 评估场景定制效果。 机制上，支持轨迹及其对应控制信号为当前策略采样的续接提供奖励反馈。GRPO 实现使用场景外观、视觉连续性与运动的统一奖励，更新紧凑的 LoRA 适配器；Yume-5B 主干保持冻结，并以基础策略锚定约束对预训练生成先验的偏离。作者还采用 DiffusionNFT 作为另一种奖励引导优化方法，学习同类场景专属适配器。摘要未给出奖励计算、锚定形式、在线采样预算及适配器配置，尚不能判断各部分的独立贡献。 PWM-Bench 包含 Indoor、Outdoor、Gaming 三个领域的 150 个定制任务，采用留出续接上的配对评估。作者报告，相对于原生 Yume，GRPO 与 DiffusionNFT 实现分别在所评估场景的 71.3% 和 65.3% 上改善定制效果，且三个领域的平均增益均为正；这些比例是改善场景的占比，不是 Accuracy 或增益百分点。作者报告，在匹配的 SFT 对照中，GRPO 实现在每个领域都获得更高的平均定制增益及更好的平均图像质量评分，同时帧级视觉质量接近预训练模型。具体评分定义、任务划分、SFT 匹配条件、消融及统计信息尚未验证。 平台推测（待验证）：其“轻量适配与先验保持”的思路可能启发 EEG 个性化，但这仅是假设。原方法依赖视频支持轨迹、控制信号及视觉奖励，不能直接视为 EEG/BCI 证据；摘要也不足以建立可直接复用的 EEG 奖励与生成机制。跨领域迁移需另行评估低信噪比、被试差异及小数据条件下的适配稳定性，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其通过奖励引导的 LoRA 适配与基础策略锚定平衡场景个性化和生成质量的机制，以及在留出续接上的配对评估和匹配 SFT 对照；具体奖励设计与实验协议仍需全文核对。

10月3日周六
  1. arXiv · 架构与算子75

    ExpertMuon-Compass：用于混合专家训练的对齐引导步长

    基于摘要分析。该研究针对混合专家（MoE）语言模型中各专家接收的数据不同且随训练变化、共享学习率难以反映专家更新质量的问题，提出 ExpertMuon-Compass（Compass）：保留 Muon 的更新方向与动量缓冲，通过两个对齐因子调整每个专家的更新步长。 核心机制是将专家的 Muon 步乘以两个因子：family factor 比较该专家正交化更新与当前梯度的余弦相似度和同层其他专家的对应相似度；scalar radius 将更新与梯度对应行之间的对齐信息聚合为一个步长乘数。方法主要改变更新幅度，而非更新方向。作者还报告证明了两个因子的扰动界，但具体假设、界的形式及适用范围尚未验证。 作者报告，在 FineWeb-Edu 预训练中，对所有矩阵使用 Nesterov 动量的 Compass 表现不逊于或优于 Muon、NorMuon 及其他优化器；较长训练运行中的权重衰减与 NorMuon 匹配。将这些因子加入 NorMuon 后，作者报告损失相同或更低。摘要未提供模型规模、训练预算、具体损失数值与数据划分，不能据此量化收益。作者报告，当专家所见数据在训练过程中变化时效果最明显，例如多语言语料按语言分块到达的设置；同时专家负载保持均衡，路由器的 token 分配更为明确。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 模型采用 MoE，且不同专家因被试、会话或任务路由而接收非平稳数据，对齐引导步长可能对应专家间更新可靠性不一致的瓶颈。可复用步长缩放机制，但需适配专家矩阵及路由方式；该机制依赖可计算的专家梯度、正交化更新及同层专家比较，不能直接推广到没有专家结构的模型。低信噪比、小数据和稀疏路由可能使对齐估计不稳定，通道差异也可能改变专家分工。一个可检验的小实验是在固定 EEG MoE、Cross-subject 划分与训练预算下，对照 Muon 和 Compass，比较预先指定的任务指标、专家负载与对齐因子稳定性，并分别移除两个因子。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其基于更新—梯度对齐调整专家步长的机制，以及与 Muon、NorMuon 在权重衰减匹配条件下的比较；摘要报告的收益尚需结合完整训练协议与消融验证。

10月2日周五
  1. arXiv · 表征与预训练76

    少测量，多获知：自监督测试时特征采集

    基于摘要分析。本文研究多模态、高维系统在测试时如何避免昂贵且冗余的全量测量，并在下游任务或预测目标未知的情况下，顺序选择有信息量的模态。作者提出任务无关的自监督模态采集原则 ECHO-k，以深度模型的内部预训练表征作为代理目标，用于概括跨模态信息并指导采集。 核心机制是以表征目标替代特定下游任务的监督信号。作者在简化的线性设定下提供理论保证，并据此构建用于顺序模态选择的强化学习（RL）策略。摘要未说明代理目标的具体构造、优化损失、策略状态与奖励，以及采集成本如何计入预算，相关实现细节尚未验证。 作者报告，在与任务无关、无标签的采集基线比较时，ECHO-k 在多种基础模型后端上持续改善预算约束下的下游性能。摘要未提供数据集、预算定义、评估划分、指标或改善幅度，不能据此量化收益或比较不同协议；实验协议、消融及统计信息尚未验证。线性设定下的理论保证也不能直接视为复杂非线性多模态场景的保证。 平台推测（待验证）：该机制可能用于 EEG 与其他模态联合测量时的成本控制，或经改造后用于 EEG 通道组选择。迁移假设依赖预训练表征能够保留下游所需信息，以及模型能够处理部分观测；可复用代理表征目标和顺序采集策略，但需改造观测接口、采集动作与成本定义。EEG 的低信噪比、跨被试差异、通道相关性及小数据可能导致策略追逐不稳定表征，或忽略任务关键但表征不敏感的信息。一个可检验的小实验是固定预训练编码器，在相同采集预算与跨被试划分下，比较代理表征驱动的通道组选择与随机、固定通道组选择，并仅在最终评估阶段使用下游标签；该实验属于迁移验证建议，并非原文结果。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其以预训练内部表征作为代理目标、在下游任务未知时学习预算约束下模态采集策略的机制，但其在 EEG/BCI 中的有效性尚未验证。