跳到正文
只看学习与优化#MoE
10月6日周二
  1. arXiv · EEG 与神经表征80

    CogAdapt：认知信息引导的代码 LLM 稀疏适应

    基于摘要分析。研究针对代码 LLM 微调成本较高的问题，提出 CogAdapt：利用人类阅读代码时的 EEG 与注意数据，学习程序级和 token 级认知先验，并据此选择性更新模型，以兼顾代码生成性能与适应参数规模。 核心机制是将可迁移的认知先验与冻结模型对各编码任务的响应相结合，决定适应规模及需要更新的 transformer blocks；微调期间仅更新选定模块，推理时不需要新增人类记录。与摘要所述通常更新较大部分模型的人类认知对齐方法相比，其重点不是仅用认知信号指导学习内容，而是进一步指导更新位置和规模。先验的具体学习目标、EEG 预处理、注意数据获取方式及模块选择规则尚未验证。 作者报告，在 Qwen 和 GLM 上，人类阅读行为与 Mixture-of-Experts（MoE）计算表现出一致对应关系。作者报告，CogAdapt 在 LiveCodeBench 和 BigCodeBench 的所比较设置中取得最佳 pass@1；其中在 LiveCodeBench 上，相较匹配的常规微调，提升分别为 10.86 和 6.29 个百分点，同时可参与梯度更新的适应参数减少 86.21–87.21%。摘要未明确各数值对应的模型配置，也未提供绝对 pass@1、数据划分或统计不确定性；参数减少不能直接等同于训练时间、显存或总计算成本同比下降。 该工作将 EEG 作为代码模型适应的认知指导信息，而非直接研究 BCI 解码。关键核对事项包括认知先验跨程序、任务及被试的可迁移性，认知信号相对纯模型响应选择策略的增益，以及匹配微调的参数预算和训练预算。被试数量、记录协议、训练与评估划分、消融、统计信息及代码可用性尚未验证，不能据此推断其适用于其他 EEG 任务。

    阅读价值：值得核对其如何将 EEG 与人类注意数据转化为代码模型的稀疏适应先验，以及性能提升和可参与梯度更新的参数减少能否在匹配微调协议下复现；这并非 EEG 解码性能的验证。

10月3日周六
  1. arXiv · 架构与算子65

    微调 VLM 以增强 AI 的空间智能：理解 3D 与 2D 旋转

    基于摘要分析。该研究针对 Vision-Language Models（VLMs）在空间推理中的局限，利用多个为训练与评估开发的物体旋转数据集进行微调，研究模型对 3D 旋转轴与角度以及 2D 旋转角度的理解能力。贡献主要是比较模型类型与物体视觉特征对旋转预测的影响，而非提出已明确描述的新架构。 作者报告，在其物体旋转训练与评估条件下，微调后的 Gemma-4 mixture-of-experts（MoE）模型在按旋转轴与角度定义的预测任务上显著优于微调后的 Gemma-4 通用模型；微调也改善了无需显式坐标系的 2D 表示角度估计。摘要未提供具体指标、效果幅度或统计检验，因而“显著”仅保留为作者报告，不能据此判断统计显著性或泛化程度。 作者还报告，可辨识物体并未提高角度检测准确性，具有突出线性特征的物体则表现更好。这提示几何线索可能比物体身份更有助于此类任务，但摘要不足以建立因果解释。需核对物体类别、线性特征与旋转难度是否得到控制，以及测试集是否包含训练中未见的物体或角度。 摘要未说明模型具体版本与规模、输入组织、微调方法、损失、数据集名称及划分方式。实验协议、消融及统计信息尚未验证，当前无法评估复现成本。材料没有 EEG/BCI 实验，也未提供明确的跨领域机制路径，因此不能将空间旋转任务的改善外推为 EEG/BCI 效果；已有 EEG 相关工作尚未检索确认。

  2. arXiv · 架构与算子75

    基于混合梯度的语言模型原则性 Top-k 选择方法

    基于摘要分析。该研究针对语言模型系统从 m 个候选项中选择最佳 k 项时，选择模块梯度信号较弱、探索与利用难以平衡的问题，提出一个具有明确建模目标的训练方法，其梯度同时包含监督梯度与策略梯度成分。 核心机制是通过所提出的选择目标获得混合形式的训练信号，而非仅依赖选择启发式。作者报告，选择问题随候选数量 m 增大而变得更困难，算法的收敛速率为 O(1/√T)，并可通过平衡偏差与方差达到所分析的最优上界。摘要未说明 T 的具体定义、目标与梯度估计公式，以及收敛结论所需假设，理论适用范围尚需全文核对。 作者在合成回归、Retrieval-Augmented Generation（RAG）文档选择和 Mixture-of-Experts（MoE）专家路由任务中评估该方法，报告其相较基线改善了 next-token prediction 的困惑度与 QA Accuracy。摘要未给出数据集、划分、基线名称或具体数值，不能据此判断提升幅度或不同任务间的可比性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 模型需要从候选通道、时间片段或专家模块中进行离散 top-k 选择，该混合梯度思路可能提供可复用的选择器训练框架。其迁移依赖可定义的候选集合、下游任务监督及可估计的选择收益；具体监督梯度项与策略梯度项如何适配 EEG，需依据全文公式确定。低信噪比、通道差异及小样本可能造成收益估计不稳定或选择器过拟合。一个可检验的小实验是在固定 EEG 解码骨干、候选通道集合与 k 的条件下，对比该方法与原有选择器，并分别报告被试内和跨被试 Accuracy 及多随机种子波动。上述迁移尚未验证，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其 top-k 选择目标如何结合监督梯度与策略梯度，以及偏差—方差平衡的理论条件；摘要报告了 RAG 和 MoE 任务收益，但具体对照与复现条件尚未验证。

  3. arXiv · 架构与算子75

    ExpertMuon-Compass：用于混合专家训练的对齐引导步长

    基于摘要分析。该研究针对混合专家（MoE）语言模型中各专家接收的数据不同且随训练变化、共享学习率难以反映专家更新质量的问题，提出 ExpertMuon-Compass（Compass）：保留 Muon 的更新方向与动量缓冲，通过两个对齐因子调整每个专家的更新步长。 核心机制是将专家的 Muon 步乘以两个因子：family factor 比较该专家正交化更新与当前梯度的余弦相似度和同层其他专家的对应相似度；scalar radius 将更新与梯度对应行之间的对齐信息聚合为一个步长乘数。方法主要改变更新幅度，而非更新方向。作者还报告证明了两个因子的扰动界，但具体假设、界的形式及适用范围尚未验证。 作者报告，在 FineWeb-Edu 预训练中，对所有矩阵使用 Nesterov 动量的 Compass 表现不逊于或优于 Muon、NorMuon 及其他优化器；较长训练运行中的权重衰减与 NorMuon 匹配。将这些因子加入 NorMuon 后，作者报告损失相同或更低。摘要未提供模型规模、训练预算、具体损失数值与数据划分，不能据此量化收益。作者报告，当专家所见数据在训练过程中变化时效果最明显，例如多语言语料按语言分块到达的设置；同时专家负载保持均衡，路由器的 token 分配更为明确。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 模型采用 MoE，且不同专家因被试、会话或任务路由而接收非平稳数据，对齐引导步长可能对应专家间更新可靠性不一致的瓶颈。可复用步长缩放机制，但需适配专家矩阵及路由方式；该机制依赖可计算的专家梯度、正交化更新及同层专家比较，不能直接推广到没有专家结构的模型。低信噪比、小数据和稀疏路由可能使对齐估计不稳定，通道差异也可能改变专家分工。一个可检验的小实验是在固定 EEG MoE、Cross-subject 划分与训练预算下，对照 Muon 和 Compass，比较预先指定的任务指标、专家负载与对齐因子稳定性，并分别移除两个因子。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其基于更新—梯度对齐调整专家步长的机制，以及与 Muon、NorMuon 在权重衰减匹配条件下的比较；摘要报告的收益尚需结合完整训练协议与消融验证。