跳到正文
只看一手#MoE
10月8日周四
  1. arXiv · 泛化与分布偏移75

    从表层到深层：面向多模态情绪理解的认知评价推理

    基于摘要分析。该研究针对多模态情绪理解依赖可观察情感线索、容易形成线索—标签捷径的问题，提出从感知到认知评价的推理范式，并配套构建 CogEmo-40K、CogEmo-MoE 与 CogEmo-Bench，以关注情绪为何产生，而不只是预测情绪类别。 核心机制源于情绪评价理论：通过个体对事件的解释和评价补充表面情感线索。CogEmo-40K 是通过感知到评价流程构建的指令微调数据集，用于引导围绕六个认知评价维度、以证据为基础的推理；摘要未列出这些维度及数据来源。CogEmo-MoE 是紧凑的稀疏 MLLM，通过交错的 MoE 模块进行评价专门化适配，作者称其规模显著小于典型情绪 MLLM，但具体参数量、路由机制、训练目标与对照模型尚未验证。 评估方面，CogEmo-Bench 引入 Appraisal Evidence Quality Score（AEQS），旨在衡量六个互补评价维度上的认知—情感理解，补充仅评估情绪预测结果的常规指标。作者报告其方法在 CogEmo-Bench 上领先，并表现出较强跨域泛化；摘要未提供分数、域划分、基线或统计信息，因此无法判断优势幅度，也不能据此认定模型已消除 Clever Hans effect。数据构建与证据标注方式、AEQS 的计算及可靠性、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：这一机制可能启发 EEG 情绪理解中的证据约束，但依赖多模态事件语境和认知评价监督，不能直接视为 EEG/BCI 方法。可考虑复用评价框架，改造 EEG 编码与证据对齐模块；低信噪比、跨被试差异及小样本评价标注可能使模型仍依赖语境捷径。一个可检验的小实验是在具有事件语境和评价标注的数据上，按同一跨被试划分比较直接情绪预测与评价辅助训练，并检验移除语境后的变化。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的是其将情绪标签预测与认知评价证据质量区分，并配套提出数据、模型及评估框架；作者报告的跨域泛化与抗表面线索捷径价值仍需结合全文协议核验。

10月6日周二
  1. arXiv · EEG 与神经表征80

    CogAdapt：认知信息引导的代码 LLM 稀疏适应

    基于摘要分析。研究针对代码 LLM 微调成本较高的问题，提出 CogAdapt：利用人类阅读代码时的 EEG 与注意数据，学习程序级和 token 级认知先验，并据此选择性更新模型，以兼顾代码生成性能与适应参数规模。 核心机制是将可迁移的认知先验与冻结模型对各编码任务的响应相结合，决定适应规模及需要更新的 transformer blocks；微调期间仅更新选定模块，推理时不需要新增人类记录。与摘要所述通常更新较大部分模型的人类认知对齐方法相比，其重点不是仅用认知信号指导学习内容，而是进一步指导更新位置和规模。先验的具体学习目标、EEG 预处理、注意数据获取方式及模块选择规则尚未验证。 作者报告，在 Qwen 和 GLM 上，人类阅读行为与 Mixture-of-Experts（MoE）计算表现出一致对应关系。作者报告，CogAdapt 在 LiveCodeBench 和 BigCodeBench 的所比较设置中取得最佳 pass@1；其中在 LiveCodeBench 上，相较匹配的常规微调，提升分别为 10.86 和 6.29 个百分点，同时可参与梯度更新的适应参数减少 86.21–87.21%。摘要未明确各数值对应的模型配置，也未提供绝对 pass@1、数据划分或统计不确定性；参数减少不能直接等同于训练时间、显存或总计算成本同比下降。 该工作将 EEG 作为代码模型适应的认知指导信息，而非直接研究 BCI 解码。关键核对事项包括认知先验跨程序、任务及被试的可迁移性，认知信号相对纯模型响应选择策略的增益，以及匹配微调的参数预算和训练预算。被试数量、记录协议、训练与评估划分、消融、统计信息及代码可用性尚未验证，不能据此推断其适用于其他 EEG 任务。

    阅读价值：值得核对其如何将 EEG 与人类注意数据转化为代码模型的稀疏适应先验，以及性能提升和可参与梯度更新的参数减少能否在匹配微调协议下复现；这并非 EEG 解码性能的验证。

10月5日周一
  1. arXiv · 架构与算子74

    CIPHER-MoE：平衡万亿规模 MoE 训练的效率与路由保真度

    基于摘要分析。CIPHER-MoE 针对大规模 LLM 的 MoE 训练中非均匀 token 路由造成的专家及设备负载失衡，提出结合亲和度感知 Expert-to-Token 过滤与显式容量控制的方法，在保持路由器 token 侧 Top-K 选择不变的前提下削减热点专家负载。 核心机制是从专家侧过滤分配给专家的 token，而非改变 token 侧的 Top-K 选择。摘要将其与复杂并行策略、资源重分配等系统方案区分，强调不需要额外硬件资源或复杂运行时设计。但保持 Top-K 选择不变不等于所有被选中的专家都实际处理对应 token；过滤后的计算路径、亲和度定义、容量设定以及未获处理 token 的处置方式，均需核对全文。 作者报告，在包括 DeepSeek-V4-Pro 在内的大规模 MoE 模型评估中，Top-1 专家工作负载降幅最高达 64.9 个百分点，训练加速为 1.10×–1.94×，并保持训练质量。摘要未给出这些数值对应的具体模型配置、硬件、数据划分、对照基线及质量指标，因此不能据此推断各模型均达到最高收益，也不能直接比较不同设置。实验协议、消融及统计信息尚未验证。摘要称代码将于近期发布，当前材料未提供可用实现。 平台推测（待验证）：若 EEG 基础模型采用 MoE，专家侧容量控制可能缓解路由热点；这一假设依赖模型确实存在负载失衡及可用于过滤的亲和度信息。可复用的是专家侧过滤与容量约束，需改造的是 EEG token 定义及过滤策略。低信噪比、跨被试差异和小数据条件下，过滤可能丢弃稀有但有判别价值的信号。可在固定 EEG MoE、数据划分与硬件下，对比原始路由和加入过滤后的专家负载、吞吐及任务指标，检验效率收益是否伴随性能损失。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其在保持 token 侧 Top-K 选择不变时如何通过专家侧容量控制缓解负载热点，尤其是训练加速、路由保真度与训练质量之间的取舍。

10月4日周日
  1. arXiv · 架构与算子71

    LoopMoEVR：用于统一 UHD 视频复原的基于循环的退化感知混合专家模型

    基于摘要分析。LoopMoEVR 面向统一 UHD 视频复原中依靠增加模型深度却收益有限的问题，将循环学习与退化感知混合专家机制结合，用输入相关的条件与自适应循环次数处理不同退化任务。 机制上，退化条件化的低秩循环嵌入生成依赖输入的阶段条件；时空迭代自适应归一化模块 IterAda3DN 融合局部特征与全局循环上下文，实施逐位置仿射调制。专家分支进一步结合经注意力更新的局部、全局视频状态及循环条件，生成专用调制参数；输入条件化的深度预测器则自适应确定循环迭代次数。摘要未给出专家路由、循环参数共享方式、损失函数及训练细节，这些内容尚未验证。 作者报告，模型仅含约 0.884M 个可训练参数，可统一处理 UHD 视频去雾、去雨、去噪和低照度增强，并在公开基准与真实场景中达到最先进复原性能。摘要未提供具体数据集、划分、指标、对照基线及分数，因此无法核对该性能主张，也不能将较少可训练参数直接等同于更低推理延迟或显存占用。实验协议、消融及统计信息尚未验证；复现还需核对 UHD 输入规格、退化构造、迭代次数分布及代码与权重可用性。 平台推测（待验证）：跨领域迁移假设是，退化条件化调制与循环精炼可能用于 EEG 去噪或伪迹抑制，对应信号污染类型变化这一瓶颈。可考虑复用条件生成与迭代深度控制机制，但需将视频时空特征模块改为适合 EEG 时间与通道结构的实现，并明确退化监督或干净参考的来源。低信噪比、跨被试差异、通道布局变化及小数据可能使条件预测失准，或使反复精炼抹除任务相关信号。一个可证伪的小实验是在固定 EEG 划分和相同伪迹条件下，对比固定循环次数与自适应次数，同时检查去噪指标及下游任务表现。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其退化条件化循环、专家调制与自适应迭代深度如何以较少可训练参数统一多种视频复原任务，但摘要中的性能主张及计算效率尚需全文验证。

  2. arXiv · 架构与算子75

    基于自适应单位分解混合专家网络的局部化算子学习

    基于摘要分析。针对 DeepONets、FNOs 在具有尖锐界面、异质系数和局部多尺度结构的 PDE 族上的建模困难，本文提出基于单位分解（partition-of-unity，POU）的局部化混合专家框架，并以 HiRefPOU 为主要贡献，在局部表征之间保持全局连续性。 核心机制是由几何感知门控网络生成平滑空间分区，融合各局部专家网络的贡献。HiRefPOU 面向 DeepONets，采用残差式层级 POU 架构，通过嵌套的父子分区组织局部表示。作者还将同一 POU 原则用于 Fourier Neural Operators，在不修改底层频谱层的情况下引入空间适应性。摘要未提供门控参数化、分区细化规则、损失函数或训练配置，其具体实现尚未验证。 作者报告，在异质 Darcy 与 reaction-diffusion 基准上，HiRefPOU 相比全局 DeepONet 和静态 POU-MoE 基线取得明显更低的误差，但摘要未给出具体误差指标、数值或数据划分。作者同时报告，更广泛的算子学习实验表明，局部化收益依赖 PDE 结构及所选神经算子骨干；学习到的分区与界面及解快速变化的区域相对应，支持其可解释性主张。实验协议、消融及统计信息尚未验证，不能据此推断所有算子任务均受益。 平台推测（待验证）：若 EEG 任务能表述为具有明确空间几何的函数到函数映射，该框架或可用于处理空间异质性，但 PDE 中的几何界面不等同于 EEG 的功能分区。可复用模块是平滑门控与局部专家融合，需改造电极几何表示及任务输入输出；低信噪比、稀疏通道、跨被试差异和小数据可能使分区不稳定或专家过拟合。一个可检验的小实验是在固定被试内划分的 EEG 通道重建任务上，以相同训练预算比较全局算子、静态 POU 与自适应 POU，并检查重建误差和分区稳定性。该迁移并非本文已验证结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其通过平滑空间分区与层级局部专家兼顾局部适应性和全局连续性的机制，且作者报告定位收益依赖 PDE 结构及算子骨干，有助于界定方法适用范围。

10月3日周六
  1. arXiv · 泛化与分布偏移68

    面向放射学报告生成的同质语义对齐与分层专家路由

    基于摘要分析。该研究针对 Radiology Report Generation（RRG）中视觉与文本表征的分布偏移，以及异质信息刚性融合可能使弱视觉异常线索被文本先验和生成惯性稀释的问题，提出两阶段 Homogeneous Semantic Alignment and Hierarchical Expert Routing（HSA-HER）框架。 第一阶段在底层潜在空间施加显式同质分布约束，旨在缩小视觉与文本特征的跨模态分布差异，并提取与疾病对齐的视觉特征作为语义锚点。第二阶段由这些锚点引导分层专家路由，针对视觉特征、局部实体与全局检索信息动态激活专家网络，进行多源证据挖掘与语义重构，并自适应分配融合权重。其核心思路是先对齐表征，再按疾病相关语义选择和融合证据，而非对所有异质信息采用统一的刚性耦合。分布约束的具体损失、专家结构、路由训练及推理流程尚未验证。 作者报告，在三个主流基准数据集上的实验取得最先进性能，并能准确描述复杂影像细节与关键诊断信息。摘要未提供数据集名称、划分协议、对照方法或指标数值，因此无法核对优势幅度及其适用条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其机制可能启发 EEG 与文本或其他辅助信息的融合，尤其是强先验掩盖低信噪比信号的情形。该假设依赖可对齐的语义监督及有用的多源证据；可借鉴潜在空间对齐与锚点引导路由，但需改造 EEG 编码器、任务语义锚点和证据来源。被试差异、通道变化、小数据下的路由不稳定，以及对齐约束抹去任务相关差异，均是潜在失败风险。可在固定 Cross-subject 划分下，小规模比较 EEG 单模态、固定融合与锚点路由，并通过扰动辅助文本检验模型是否仍依赖 EEG 证据。已有 EEG 相关工作尚未检索确认。

  2. arXiv · 架构与算子74

    COSMOS：用于长时域 PDE 预测的软机制混合与可验证路由

    基于摘要分析。COSMOS 针对多种物理过程并存时，单体神经算子与稀疏专家路由难以表达连续组合的问题，提出软机制混合神经算子，并构建具有已知轨迹混合权重的算子分裂组合基准，用于检验预测性能与路由解释。 核心机制：四个带有过程偏置的专家在每一步均保持激活，由学习得到的门控连续混合，再通过小型网络融合特征。专家共享粗粒度潜在网格，并以零初始化的全分辨率残差恢复瓶颈损失的细节。该设计以同时参与的专家替代稀疏 top-K 选择；具体损失、训练流程及网络规模尚未验证。 作者报告，在与按方程族调优的 FNO 比较、采用 20 步滚动预测的初始 3 个随机种子评估中，COSMOS 在 diffusion–reaction 上呈现收益，在 Navier–Stokes 上表现相当，在 shallow-water 上较弱；随后 11 个随机种子的审计表明 diffusion–reaction 收益不稳定，因此不能据此可靠宣称这些方程族上的精度优势。作者报告，均匀路由或移除专家混合会显著降低稳定状态下的滚动预测表现。 在带路由标签的组合基准上，作者报告，相同特征融合条件下，稠密软路由的误差比硬 top-1 路由低 2.2 倍；推理时使用生成器的真实混合权重 w*，滚动预测误差进一步降至 0.034。摘要未明确该误差的指标定义、归一化方式及完整评估协议，不能与其他任务分数直接比较。路由标签与专家预设机制并不对应，因此结果支持组合预测能力，而非机制身份解释；真实权重干预则提示学习门控仍有限制。 平台推测（待验证）：若将软专家混合用于 EEG 时空预测，可复用连续门控与多专家融合，但 PDE 过程偏置、潜在网格和机制标签均需重新设计；EEG 的低信噪比、通道差异与小数据可能造成专家退化或门控不稳定。一个可证伪的小实验是在固定跨被试划分、相同融合模块及相近模型容量下，比较软路由、硬 top-1 与均匀路由，并用多随机种子检查预测误差收益是否稳定；这不等同于验证 EEG 生理机制。已有 EEG 相关工作尚未检索确认。完整数据划分、消融设置及统计信息尚未验证。

    阅读价值：值得阅读的是作者通过多随机种子审计修正初步精度结论，并用已知混合权重区分软路由的组合预测价值与机制身份解释的局限。

  3. arXiv · 架构与算子65

    微调 VLM 以增强 AI 的空间智能：理解 3D 与 2D 旋转

    基于摘要分析。该研究针对 Vision-Language Models（VLMs）在空间推理中的局限，利用多个为训练与评估开发的物体旋转数据集进行微调，研究模型对 3D 旋转轴与角度以及 2D 旋转角度的理解能力。贡献主要是比较模型类型与物体视觉特征对旋转预测的影响，而非提出已明确描述的新架构。 作者报告，在其物体旋转训练与评估条件下，微调后的 Gemma-4 mixture-of-experts（MoE）模型在按旋转轴与角度定义的预测任务上显著优于微调后的 Gemma-4 通用模型；微调也改善了无需显式坐标系的 2D 表示角度估计。摘要未提供具体指标、效果幅度或统计检验，因而“显著”仅保留为作者报告，不能据此判断统计显著性或泛化程度。 作者还报告，可辨识物体并未提高角度检测准确性，具有突出线性特征的物体则表现更好。这提示几何线索可能比物体身份更有助于此类任务，但摘要不足以建立因果解释。需核对物体类别、线性特征与旋转难度是否得到控制，以及测试集是否包含训练中未见的物体或角度。 摘要未说明模型具体版本与规模、输入组织、微调方法、损失、数据集名称及划分方式。实验协议、消融及统计信息尚未验证，当前无法评估复现成本。材料没有 EEG/BCI 实验，也未提供明确的跨领域机制路径，因此不能将空间旋转任务的改善外推为 EEG/BCI 效果；已有 EEG 相关工作尚未检索确认。

  4. arXiv · 架构与算子75

    基于混合梯度的语言模型原则性 Top-k 选择方法

    基于摘要分析。该研究针对语言模型系统从 m 个候选项中选择最佳 k 项时，选择模块梯度信号较弱、探索与利用难以平衡的问题，提出一个具有明确建模目标的训练方法，其梯度同时包含监督梯度与策略梯度成分。 核心机制是通过所提出的选择目标获得混合形式的训练信号，而非仅依赖选择启发式。作者报告，选择问题随候选数量 m 增大而变得更困难，算法的收敛速率为 O(1/√T)，并可通过平衡偏差与方差达到所分析的最优上界。摘要未说明 T 的具体定义、目标与梯度估计公式，以及收敛结论所需假设，理论适用范围尚需全文核对。 作者在合成回归、Retrieval-Augmented Generation（RAG）文档选择和 Mixture-of-Experts（MoE）专家路由任务中评估该方法，报告其相较基线改善了 next-token prediction 的困惑度与 QA Accuracy。摘要未给出数据集、划分、基线名称或具体数值，不能据此判断提升幅度或不同任务间的可比性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 模型需要从候选通道、时间片段或专家模块中进行离散 top-k 选择，该混合梯度思路可能提供可复用的选择器训练框架。其迁移依赖可定义的候选集合、下游任务监督及可估计的选择收益；具体监督梯度项与策略梯度项如何适配 EEG，需依据全文公式确定。低信噪比、通道差异及小样本可能造成收益估计不稳定或选择器过拟合。一个可检验的小实验是在固定 EEG 解码骨干、候选通道集合与 k 的条件下，对比该方法与原有选择器，并分别报告被试内和跨被试 Accuracy 及多随机种子波动。上述迁移尚未验证，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其 top-k 选择目标如何结合监督梯度与策略梯度，以及偏差—方差平衡的理论条件；摘要报告了 RAG 和 MoE 任务收益，但具体对照与复现条件尚未验证。

  5. arXiv · 架构与算子75

    ExpertMuon-Compass：用于混合专家训练的对齐引导步长

    基于摘要分析。该研究针对混合专家（MoE）语言模型中各专家接收的数据不同且随训练变化、共享学习率难以反映专家更新质量的问题，提出 ExpertMuon-Compass（Compass）：保留 Muon 的更新方向与动量缓冲，通过两个对齐因子调整每个专家的更新步长。 核心机制是将专家的 Muon 步乘以两个因子：family factor 比较该专家正交化更新与当前梯度的余弦相似度和同层其他专家的对应相似度；scalar radius 将更新与梯度对应行之间的对齐信息聚合为一个步长乘数。方法主要改变更新幅度，而非更新方向。作者还报告证明了两个因子的扰动界，但具体假设、界的形式及适用范围尚未验证。 作者报告，在 FineWeb-Edu 预训练中，对所有矩阵使用 Nesterov 动量的 Compass 表现不逊于或优于 Muon、NorMuon 及其他优化器；较长训练运行中的权重衰减与 NorMuon 匹配。将这些因子加入 NorMuon 后，作者报告损失相同或更低。摘要未提供模型规模、训练预算、具体损失数值与数据划分，不能据此量化收益。作者报告，当专家所见数据在训练过程中变化时效果最明显，例如多语言语料按语言分块到达的设置；同时专家负载保持均衡，路由器的 token 分配更为明确。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 模型采用 MoE，且不同专家因被试、会话或任务路由而接收非平稳数据，对齐引导步长可能对应专家间更新可靠性不一致的瓶颈。可复用步长缩放机制，但需适配专家矩阵及路由方式；该机制依赖可计算的专家梯度、正交化更新及同层专家比较，不能直接推广到没有专家结构的模型。低信噪比、小数据和稀疏路由可能使对齐估计不稳定，通道差异也可能改变专家分工。一个可检验的小实验是在固定 EEG MoE、Cross-subject 划分与训练预算下，对照 Muon 和 Compass，比较预先指定的任务指标、专家负载与对齐因子稳定性，并分别移除两个因子。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其基于更新—梯度对齐调整专家步长的机制，以及与 Muon、NorMuon 在权重衰减匹配条件下的比较；摘要报告的收益尚需结合完整训练协议与消融验证。