跳到正文
只看表征与基础模型#Foundation Model
10月8日周四
  1. arXiv · 时序与音频基础模型78

    Timer-M1：通过学习基元构建多变量时间序列基础模型

    基于摘要分析。Timer-M1 面向跨领域多变量时间序列的零样本预测，通过基于基元（primitives）的数据合成与预训练，学习跨领域共享的时间模式及变量关系，以应对不同场景中模式表现和演化方式的差异。 方法上，合成流程先生成包含 temporal primitives 的序列，再利用 relational primitives 将真实序列与生成序列组装为多变量样本。随后，将样本组织为 episodes，并明确区分目标变量、仅提供历史信息的协变量及已知未来信息的协变量，使模型利用可用外生信息预测目标变量。模型采用经调整的门控二维 Transformer 模块，在不同层中动态分配跨变量注意力；具体门控实现、训练目标、数据规模及推理配置尚未验证。 作者报告，在三个大规模预测基准上，与近期时间序列基础模型比较，Timer-M1 在 FEV 和 TIME 排名第一，在 GIFT-Eval 排名第二。摘要未提供具体指标值、预测长度、数据划分或完整对照模型列表，不能据排名推断提升幅度。实验协议、消融及统计信息尚未验证；复现还需核对基元生成规则、真实与合成数据配比、通道角色分配及模型权重可用性。 平台推测（待验证）：其原问题是利用跨领域共享模式实现零样本预测，依赖多变量时序结构及明确的协变量可用性。迁移假设是，基元合成与跨变量注意力可能用于 EEG 的跨通道信号预测，但不等同于已验证的 BCI 解码能力。可复用的是合成流程和变量交互建模；需改造的是 EEG 基元定义、通道角色与任务输出，尤其不能将未知未来 EEG 当作已知协变量。低信噪比、被试差异、通道布局变化和小数据可能使合成模式与真实信号失配。可检验的小实验是在固定 Cross-subject 划分下，对比加入与不加入 EEG 基元合成的同一预测模型，使用相同预测窗口及误差指标评估；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其基于 temporal primitives 与 relational primitives 的数据合成及通道角色建模，是否能改善多变量预测的泛化；摘要报告的基准排名及其向 EEG 迁移的价值仍需分别验证。

10月7日周三
  1. arXiv · EEG 与神经表征77

    跨模态对齐中的被试规模扩展：利用 EEG 基础模型进行视频解码

    基于摘要分析。研究考察自然视觉 EEG 解码是否受益于扩大训练被试规模，并通过 EEG–视频跨模态对比编码器比较基础模型初始化与随机初始化的扩展表现。核心贡献是提出被试规模收益可能存在起点：小规模队列中的有限增益，不一定能代表更大队列的扩展规律。 方法与对照：研究利用共享自然视觉刺激进行 EEG–视频对齐，训练队列规模比既有相关研究大一个数量级以上。摘要列出的评估包括需要拟合的刺激特征探针，以及无需拟合的电影时刻检索；初始化对照包括 EEG 基础模型与两个深度的随机初始化编码器。具体基础模型名称、对比损失、视频表征方式、网络结构与各规模阶梯尚未验证。 作者报告，在其被试规模阶梯中，S≈50 以下，各模型相对未训练编码器均无明显改善；超过这一范围后，两类评估的解码表现随被试数呈对数线性增长，在所测试的最高规模处未见饱和，且收益迁移到第二部未见电影。作者还报告，基础模型初始化编码器在队列每翻倍时的扩展速率约为随机初始化对照的 1.6 倍，是最高规模处唯一仍能通过增加被试提高检索 Accuracy 的模型，并以较少的对齐计算量收敛。摘要未给出绝对 Accuracy、最高被试数、计算量或统计不确定性，不能将该速率比解释为准确率提高 1.6 倍。 证据边界与复现重点：需核对训练和评估的被试划分、时间片段划分、电影间迁移设置，以及共享刺激条件下候选检索集合与未训练基线的定义。摘要不足以确定结果属于何种 Cross-subject 或 Cross-session 协议，也不能将未见电影迁移直接等同于 Cross-dataset 泛化。实验协议、消融及统计信息尚未验证。作者将共享自然刺激上的被试扩展视为尚未饱和的方向，但这一结论仅适用于已测试规模与任务，尚不能外推到任意 EEG 数据或其他 BCI 范式。

    阅读价值：值得核对其被试规模阶梯与评估划分，以检验共享自然视觉刺激下被试扩增的收益起点，以及 EEG 基础模型初始化相对随机初始化的扩展效率优势。

10月6日周二
  1. arXiv · EEG 与神经表征78

    SpecBraM：EEG 基础模型应预测什么？掩码频带功率预测与波形重建的比较

    基于摘要分析。研究探讨 EEG 自监督预训练应预测何种物理量，提出 masked band-power prediction（MBP，掩码频带功率预测），并与波形重建比较。其核心贡献是通过匹配条件的实验检验预训练目标对睡眠分期表征的影响，同时考察收益能否迁移到其他任务。 MBP 为被掩码的通道—时间片段预测固定窄频带的对数谱能量，旨在保留与睡眠分期相关的节律功率，避免相位敏感的波形重建及学习式码本。作者使用三个预训练随机种子，在相同骨干、2,388 小时预训练数据和相同训练步数下比较频带功率与波形目标，并采用 2×2 tokenizer-by-target 设计区分 tokenizer 与预测目标的影响；摘要未提供具体骨干、损失形式或频带配置。 作者报告，在 ISRUC 和 HMC 睡眠分期的严格线性探测协议下，使用全部标签时，MBP 相较原始波形及频带波形重建提高 1.6–2.8 个 Balanced Accuracy 百分点；使用 1% 标签时提高 4.7–7.3 个百分点，且目标的影响大于 tokenizer 的影响。按 ISRUC/HMC 顺序，冻结特征的 Balanced Accuracy 为 0.7916/0.7425，匹配的丰富手工频谱特征基线为 0.7636/0.7227；但在 1% 标签条件下，与该基线的差距约为一个百分点。作者报告，全量微调的 Balanced Accuracy 为 0.8107/0.7669。被试与会话划分、标签抽样方式、各对照的具体实现及统计不确定性尚未验证，不能据此直接比较其他研究的分数。 作者报告，这些收益未普遍扩展到运动想象、抑郁筛查和警觉性回归等具有频谱线索的任务，支持根据下游标签相关的物理量及空间、时间尺度选择预训练目标，而非将 MBP 视为普适替代方案。复现需核对预训练数据组成、掩码策略、频带定义、线性探测约束和 1% 标签采样协议；完整实验协议、消融及统计信息尚未验证。

    阅读价值：匹配骨干、预训练数据与训练步数的目标对照及 tokenizer-by-target 设计，有助于核对睡眠分期收益是否主要来自预训练目标，同时其未普遍迁移的结果值得用于审视 EEG 基础模型的任务适用边界。

10月5日周一
  1. arXiv · 时序与音频基础模型74

    用于预测控制的时序基础模型：激励的作用

    基于摘要分析。研究考察时序基础模型（TSFMs）的零样本预测能力是否足以支持模型预测控制（MPC），核心贡献是区分常规预测准确性与对备选控制动作响应的建模能力，并分析上下文中控制激励的作用。 MPC 需要预测目标系统在不同候选动作下的变化，因此较低的预测误差并不保证模型能够正确比较控制干预。作者以住宅热泵控制为试验场景，评估模型预测的控制干预效果与真实效果的一致性。摘要未给出具体 TSFM 名称、输入输出组织方式或一致性指标定义。 作者报告，当上下文包含充分的独立控制激励时，TSFMs 能够恢复系统的输入—响应关系；常见微调流程与特征平滑可以降低、但不能消除对上下文激励的需求。作者据此认为，当前用于预测控制的 TSFMs 在推理时仍需要足够有信息量的控制变化。作者报告初步闭环结果显示较短上下文窗口具有潜力，但摘要未提供窗口长度、对照基线或控制性能数值，不能据此判断闭环优势的大小。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若迁移至包含外部刺激或控制输入的 EEG/BCI 响应预测任务，其机制启示是自然时序预测良好不等于能够识别干预响应。该假设依赖同步记录的刺激或动作输入、EEG 输出及足够独立的输入变化，不能直接推广至一般被动 EEG 解码。可复用的是干预效果一致性评估思路；输入编码、响应时延与通道处理需针对 EEG 改造。低信噪比、跨被试差异及小数据可能使激励效应难以辨识。一个可检验的小实验是在固定模型和上下文长度下，比较不同刺激变化程度的上下文对留出干预响应预测的影响，并分别报告常规预测误差与干预效果一致性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是将预测误差与控制干预响应的正确性分开评估，并揭示推理上下文中的独立控制激励可能是时序基础模型用于 MPC 的关键条件；其适用范围仍需全文实验核对。

10月4日周日
  1. arXiv · 时序与音频基础模型83

    时序基础模型的统一缩放定律

    基于摘要分析。该研究探讨模型容量与历史信息如何共同支持时序预测，提出 Unified Scaling Law 与 Unified Theory of Time Series Learning，分别用经验拟合和 Gaussian regression 理论分析容量、上下文及预测跨度的作用。 经验部分覆盖六个领域的 23 个 dataset-frequency 任务，分析 21 个检查点、18,768 个实验单元，包含不同历史窗口长度与预测跨度。作者将局部资源关系整合为五参数定律：容量增加的收益随历史长度增长，上下文收益逐渐趋于饱和，预测跨度效应表现为共同偏移。摘要未提供具体公式、任务清单、训练与评估划分，相关协议尚未验证。 作者报告，在拟合时排除 Toto 2.0 后，该定律对其按预测跨度平均的容量缩放曲线进行预测，在输入长度为 2048 和 4096 时，平均绝对百分比误差分别为 1.09% 和 1.50%。这些数值衡量的是缩放曲线预测误差，不能解读为时序预测任务本身的误差或性能提升。 理论部分用 Gaussian regression 分析规则识别与预测能力。作者提出假设：full-shot 模型通过权重积累信息，而冻结的时序基础模型通过激活从历史中提取信息。作者报告，匹配历史条件的比较支持额外历史的预测价值；受控参数交换与激活干预提供证据，表明由历史提取的规则信息可被保留、跨查询复用，并恢复对长上下文预测的部分贡献。干预细节、消融及统计信息尚未验证。摘要声明代码与主要结果已公开，实际复现条件尚待核对。 平台推测（待验证）：容量与历史长度的联合分析可能用于研究 EEG 长上下文预测的资源分配，但其前提是存在可跨时间复用的预测结构，并有足够数据区分容量与上下文效应。可复用的是缩放拟合和历史匹配对照思路，需改造输入表示、通道处理与跨被试评估；低信噪比、跨会话非平稳性和小数据可能使历史收益提前饱和或不稳定。一个可证伪的小实验是在固定 Cross-session 划分下联合改变模型容量与历史长度，检验该定律能否预测未参与拟合配置的误差曲线。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究将模型容量、历史长度与预测跨度纳入统一拟合框架，并以未参与拟合的 Toto 2.0 检验容量缩放曲线预测，值得核对其适用范围与历史信息干预证据；对 EEG 的迁移价值尚未验证。

  2. arXiv · 时序与音频基础模型75

    Pythia：迈向多模态时间序列基础世界模型

    基于摘要分析。Pythia 针对异构时间序列中可复用多模态预测表示不足的问题，通过 joint-embedding predictive architecture 学习由上下文条件化的潜在动态，并将世界模型预训练与观测空间中的概率预测分离。 核心机制是使用 stop-gradient 数值参考，引导上下文信息对预测未来状态进行修正；随后由独立概率解码器结合冻结的预测表示与观测历史完成预测。该设计将潜在动态表示的学习与概率输出适配解耦。摘要未提供具体损失形式、上下文编码方式、预训练数据构成或模型规模，这些细节尚未验证。 作者报告，在 MUSE 上，Pythia-Tiny 的归一化 mean absolute scaled error（MASE）为 0.6879，weighted sum quantile loss（WSQL）为 0.4269，相对于已发布 MUSE 排行榜中被评估的最强模型，误差分别降低 6.26% 和 5.00%。这些是相对降幅，不是百分点变化；摘要未说明对照模型名称、数据划分及指标聚合方式，不能据此推断其他协议下的优势。作者还报告，受控实验支持将预测表示学习与概率读出分离，并显示实体描述、事件和协变量具有互补贡献。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其上下文条件化动态表示可能用于探索 EEG 信号与任务描述、事件标记及协变量的联合建模，但原领域结果不等于 BCI 有效。可复用思路是潜在动态预测和独立读出；需要改造 EEG 输入表示、通道组织及事件时间对齐。低信噪比、跨被试差异、通道不一致和小数据规模可能削弱上下文收益。一个可证伪的小实验是在固定 Cross-subject 划分下，对比仅数值输入、加入真实事件上下文及打乱上下文的未来 EEG 预测误差，检验收益是否确实来自上下文。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其将多模态潜在动态预训练与概率预测解耦的机制，以及文本、事件和协变量的受控对照；摘要报告了 MUSE 上的误差改善，但具体评估协议与统计可靠性尚未验证。

  3. arXiv · EEG 与神经表征79

    SPERA：采用几何与频率感知潜空间预测的球面先验 EEG 基础模型

    基于摘要分析。SPERA 针对被试、设备及电极布局异质性带来的通用 EEG 建模难题，采用 joint-embedding predictive architecture（JEPA）进行潜空间预测，并结合电极几何先验与频谱关系约束，构建 EEG 基础模型。其出发点是：观测信号同时包含神经与非神经成分，直接重建信号的训练目标未必最适合学习通用表征；这一动机不等于模型已被证明能够分离两类成分。 机制上，SPERA 将 Legendre-polynomial 空间先验融入注意力，以编码不同头皮电极几何；采用分解式时间与空间注意力，并穿插周期性全注意力块；通过 relational spectral regularizer，使潜空间相似性结构与频谱视图对齐。这些设计分别面向电极布局变化、时空交互建模和频谱结构约束。摘要未提供潜空间预测目标、频谱视图构造、正则项公式及各组件训练细节，其具体实现尚未验证。 作者报告，模型在来自 106 个数据集、29,048 名被试的约 80,000 小时 EEG 上进行预训练，并在覆盖临床、认知和 BCI 应用的九项下游任务中取得最高平均 Balanced Accuracy。该结论限定于作者采用的任务集合与比较范围；摘要未列出具体任务、对照模型、分数、汇总方式，以及被试内、跨被试、跨会话或跨数据集划分，不能据此判断各类泛化能力。作者还报告在线性探测下具有较强参数效率，并对不同记录条件表现出稳健性，但参数规模、冻结与训练设置及稳健性测试条件尚未验证。 复现与阅读重点是核对预训练和下游数据的划分关系、电极坐标及缺失通道处理、频谱约束的实现，以及几何先验、分解式注意力和频谱正则各自的贡献。实验协议、消融及统计信息尚未验证；代码、权重和数据可获取性也无法由摘要确认。

    阅读价值：值得核对 SPERA 如何将电极几何先验与频谱关系约束引入潜空间预测，以及作者报告的下游表现是否在不同电极布局和评估协议下保持稳定。

10月3日周六
  1. arXiv · 表征与预训练76

    通过表征多样性与多分支架构扩展无线基础模型

    基于摘要分析。该研究关注预训练数据有限时，扩大无线基础模型容量未必稳定改善下游表现的问题，提出将自监督目标多样性作为另一条扩展路径：通过组合重建、预测与对比学习所强调的不同信号属性，支持多种下游任务。 方法包含两个阶段：首先融合由不同目标独立训练的编码器所产生的冻结表征，以检验目标互补性的收益，但这需要维护多个编码器；随后设计联合训练的多分支架构，以共享主干和目标专属分支，在标准单目标编码器的参数预算内保留多目标收益。摘要未给出具体损失、融合方式、分支结构及训练配比。 作者在包含 spectrogram 与 channel state information 的异构语料上预训练，并评估覆盖通信、感知和定位的六项下游任务。作者报告，在输出嵌入维度相同的条件下，融合方法在全部六项任务上优于所评估的单目标编码器，参数量约为其三分之一；这一参数比例的统计口径需查阅全文核对。作者报告，多分支架构在单编码器参数预算内保留了大部分融合收益。表征分析显示不同目标具有互补贡献，新增收益中相当一部分保留于与重建表征子空间正交的成分。具体数据集、划分、指标、对照配置、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，重建、预测与对比目标可能分别保留 EEG 中不同的时频和判别信息，为有限数据下单一预训练目标的信息偏向提供补充。可复用的是共享主干、目标专属分支及表征互补性分析；需改造的是 EEG 输入表征、预测任务和对比样本构造，并确认所用无标签数据规模足以支撑联合训练。低信噪比可能使重建目标保留伪迹，跨被试及通道差异可能引入非任务信息，小数据下也可能出现目标冲突。可检验的小实验是在固定 EEG 数据划分、参数预算、嵌入维度及下游评估协议下，比较单目标编码器与多目标多分支模型，并检验增益是否伴随互补表征，而非仅来自训练投入变化。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究通过冻结表征融合与共享主干多分支架构两条路径检验自监督目标多样性的价值，值得核对其参数统计、任务评估与表征互补性分析，但迁移至 EEG 的收益尚未验证。