跳到正文
只看模型架构#多随机种子
10月5日周一
  1. arXiv · 架构与算子83

    Poisson-GENERIC 神经算子：通过 Casimir 熵实现函数空间中的精确 Metriplectic 结构

    基于摘要分析。该研究针对热力学一致神经算子中，熵梯度投影可能破坏可逆算子 Jacobi 恒等式的问题，提出 Poisson-GENERIC：通过增广状态与 Casimir 熵直接满足 GENERIC 退化条件，而非依赖投影。其贡献是将可逆 Poisson 结构、不可逆耗散约束与离散热力学定律纳入神经算子建模。 核心机制：状态增广为 (u,s)，其中 s 为潜在熵密度，S=∫s 被构造为可逆算子 L 的 Casimir，因此 LδS/δz=0 恒成立。非线性输运采用兼容的 Lie-Poisson pencil αD+λ(uD+Du)，其他情形采用常数 Poisson Fourier multiplier。能量由固定机械二次项、学习得到的 gauge-free 势能与凸内能组成；摩擦算子 M=AAᵀ 逐点满足 MδE/δz=0，其 Onsager 奇偶结构允许扩散和阻尼，并排除输运。 作者报告，对任意参数，反对称性、正性、两项退化条件及 Jacobi 恒等式达到机器精度，其中 Lie-Poisson 项的 Jacobi 保证限定于已解析频带。作者还给出热传导与阻尼波的闭式摩擦算子，并在可检查的曲率条件下以第二定律约束物理能量；离散梯度积分器满足精确的离散第一、第二定律。上述理论条件及离散化细节需结合全文核对。 实验方面，作者报告在 1D、2D 的四类 PDE、三个骨干 FNO、Transolver、CNO 上，相对同骨干无约束基线赢得 72 次随机种子级比较中的 61 次；在热方程与 Burgers 上，耗散率与真实值的偏差不超过 13%，并在平流任务上不产生耗散。作者报告模型学到精确的输运与波动算子符号；常数 L 消融无法保留 Burgers 建模能力，学习熵的消融则在全部可逆—不可逆混合问题中注入能量。胜负判据、数据划分、误差指标、消融配置及统计信息尚未验证。 平台推测（待验证）：该结构更适合检验具有明确 PDE 与能量—熵定义的动力学代理模型；原领域结果不能直接视为 EEG/BCI 效果。对 EEG 的迁移尚缺明确物理状态及守恒、耗散对应关系，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其以 Casimir 熵替代投影来保持 Jacobi 恒等式的构造，以及同骨干对照中结构约束对输运与耗散学习的影响；具体离散实现和实验协议尚未验证。

10月3日周六
  1. arXiv · 表征与预训练82

    定格于一帧：JEPA 世界模型的速度盲区

    基于摘要分析。本文研究 JEPA 世界模型以单帧嵌入作为预测目标时的速度可辨识性问题，提出三阶段诊断协议 RateIdent，以及将潜变量分为姿态编码和显式有限差分运动编码、并联合预测的 TI-JEPA。 核心机制：作者指出，在无运动模糊、图像仅由场景配置决定的渲染条件下，单帧无法区分同一配置下的不同速度，因此编码器也不能从该帧恢复速度。该论证针对特定观测生成条件，不宜直接推广至含运动模糊或其他运动线索的图像。TI-JEPA 通过有限差分引入时间变化信息，作者称其无需特权监督；具体差分对象、训练损失与 RateIdent 各阶段操作尚未验证。 作者报告，在 PushT、Reacher、Cube、TwoRoom 四个基准的官方检查点上，所有线性速度探针表现均处于或低于机会水平，而位置探针的 R² 约为 0.95。在线性探针协议之外能否提取速度，以及机会水平的定义，需核对正文。作者还报告，在三个具有物理动力学的环境中，TI-JEPA 相比匹配记忆基线，在到达目标并停止的规划任务上获得跨随机种子的显著改进：Pendulum 最终距离降低 55%（p=3.2×10^-10），CartPole 降低 64%（p=5.1×10^-15）。摘要称该结果在官方 ViT-Tiny 与 AdaLN-transformer 规模下得到复现；从头训练的真实 dm_control Reacher 图像实验中，分支分离程度约为具备记忆基线的 38 倍，但该指标定义尚未验证。相较相同模型规模的循环 RSSM 风格预测器，作者报告 TI-JEPA 在三个环境中的两个上达到或超过其 rollout 准确性，并保留姿态与运动的独立可探测性。实验划分、消融及统计信息尚未验证。 平台推测（待验证）：可检验的迁移假设是，将 EEG 的窗口状态与跨窗口变化显式分离，可能改善动态状态预测；但 EEG 并非配置到图像的确定性渲染，原文的不可辨识性论证不能直接迁移。可复用编码分离思路，需改造时间差分尺度与观测编码；低信噪比、被试差异、通道变化及小数据可能使差分分支放大噪声。小规模实验可在相同输入历史和参数预算下比较分离编码与记忆基线的下一窗口预测误差，并检验跨被试稳定性。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其单帧表征无法辨识速度的适用条件，并复现 TI-JEPA 相对匹配记忆基线的改进，以区分运动信息缺失与预测器能力不足。

  2. arXiv · 架构与算子74

    COSMOS：用于长时域 PDE 预测的软机制混合与可验证路由

    基于摘要分析。COSMOS 针对多种物理过程并存时，单体神经算子与稀疏专家路由难以表达连续组合的问题，提出软机制混合神经算子，并构建具有已知轨迹混合权重的算子分裂组合基准，用于检验预测性能与路由解释。 核心机制：四个带有过程偏置的专家在每一步均保持激活，由学习得到的门控连续混合，再通过小型网络融合特征。专家共享粗粒度潜在网格，并以零初始化的全分辨率残差恢复瓶颈损失的细节。该设计以同时参与的专家替代稀疏 top-K 选择；具体损失、训练流程及网络规模尚未验证。 作者报告，在与按方程族调优的 FNO 比较、采用 20 步滚动预测的初始 3 个随机种子评估中，COSMOS 在 diffusion–reaction 上呈现收益，在 Navier–Stokes 上表现相当，在 shallow-water 上较弱；随后 11 个随机种子的审计表明 diffusion–reaction 收益不稳定，因此不能据此可靠宣称这些方程族上的精度优势。作者报告，均匀路由或移除专家混合会显著降低稳定状态下的滚动预测表现。 在带路由标签的组合基准上，作者报告，相同特征融合条件下，稠密软路由的误差比硬 top-1 路由低 2.2 倍；推理时使用生成器的真实混合权重 w*，滚动预测误差进一步降至 0.034。摘要未明确该误差的指标定义、归一化方式及完整评估协议，不能与其他任务分数直接比较。路由标签与专家预设机制并不对应，因此结果支持组合预测能力，而非机制身份解释；真实权重干预则提示学习门控仍有限制。 平台推测（待验证）：若将软专家混合用于 EEG 时空预测，可复用连续门控与多专家融合，但 PDE 过程偏置、潜在网格和机制标签均需重新设计；EEG 的低信噪比、通道差异与小数据可能造成专家退化或门控不稳定。一个可证伪的小实验是在固定跨被试划分、相同融合模块及相近模型容量下，比较软路由、硬 top-1 与均匀路由，并用多随机种子检查预测误差收益是否稳定；这不等同于验证 EEG 生理机制。已有 EEG 相关工作尚未检索确认。完整数据划分、消融设置及统计信息尚未验证。

    阅读价值：值得阅读的是作者通过多随机种子审计修正初步精度结论，并用已知混合权重区分软路由的组合预测价值与机制身份解释的局限。