跳到正文

算法、任务与模态

Pretraining 最新动态

Pretraining 研究索引；按可核对的标签归档，不以热度评价质量。

25 条精选近 30 天 25 条共收录 26 条

更新

精选归档 · 第 2 页

10月3日周六第 21–25 条
  1. arXiv · 架构与算子75

    ExpertMuon-Compass：用于混合专家训练的对齐引导步长

    基于摘要分析。该研究针对混合专家（MoE）语言模型中各专家接收的数据不同且随训练变化、共享学习率难以反映专家更新质量的问题，提出 ExpertMuon-Compass（Compass）：保留 Muon 的更新方向与动量缓冲，通过两个对齐因子调整每个专家的更新步长。 核心机制是将专家的 Muon 步乘以两个因子：family factor 比较该专家正交化更新与当前梯度的余弦相似度和同层其他专家的对应相似度；scalar radius 将更新与梯度对应行之间的对齐信息聚合为一个步长乘数。方法主要改变更新幅度，而非更新方向。作者还报告证明了两个因子的扰动界，但具体假设、界的形式及适用范围尚未验证。 作者报告，在 FineWeb-Edu 预训练中，对所有矩阵使用 Nesterov 动量的 Compass 表现不逊于或优于 Muon、NorMuon 及其他优化器；较长训练运行中的权重衰减与 NorMuon 匹配。将这些因子加入 NorMuon 后，作者报告损失相同或更低。摘要未提供模型规模、训练预算、具体损失数值与数据划分，不能据此量化收益。作者报告，当专家所见数据在训练过程中变化时效果最明显，例如多语言语料按语言分块到达的设置；同时专家负载保持均衡，路由器的 token 分配更为明确。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 模型采用 MoE，且不同专家因被试、会话或任务路由而接收非平稳数据，对齐引导步长可能对应专家间更新可靠性不一致的瓶颈。可复用步长缩放机制，但需适配专家矩阵及路由方式；该机制依赖可计算的专家梯度、正交化更新及同层专家比较，不能直接推广到没有专家结构的模型。低信噪比、小数据和稀疏路由可能使对齐估计不稳定，通道差异也可能改变专家分工。一个可检验的小实验是在固定 EEG MoE、Cross-subject 划分与训练预算下，对照 Muon 和 Compass，比较预先指定的任务指标、专家负载与对齐因子稳定性，并分别移除两个因子。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其基于更新—梯度对齐调整专家步长的机制，以及与 Muon、NorMuon 在权重衰减匹配条件下的比较；摘要报告的收益尚需结合完整训练协议与消融验证。

  2. arXiv · 泛化与分布偏移79

    SUAVE：通过掩码扩散统一视频与动作模型

    基于摘要分析。该研究针对机器人模型中未来观测预测与动作决策分离的问题，提出 SUAVE（Single vocabulary Unified Action-Video modEl）：将语言、视频和动作表示为共享序列中的离散 token，以掩码扩散 Transformer 在语言条件下生成视频与动作，使同一网络能够承担世界模型、机器人策略或联合视频—动作模型的功能。 核心机制是通过推理时选择不同的掩码位置切换任务，而非分别构建视频预测器与动作策略。对于无动作标注的视频，作者将动作位置填入 mask token，并排除这些位置的损失，以支持无动作标注的联合训练。摘要将其与逐 token 自回归解码，以及连续视频潜空间搭配辅助动作头的统一模型作了机制层面的区分；离散编码方式、词表构成、损失细节和掩码调度尚未验证。 作者报告，在仿真与真实机器人静态、动态操作任务中，单个 SUAVE 模型可预测长时域视频并作为策略执行动作，表现可与专用世界模型及动作策略竞争，但摘要未提供基准名称、任务划分或定量性能。作者报告，在真实机器人实验中，使用 RTX 5090 GPU 生成子目标图像及覆盖一秒运动的动作块耗时 1,030 ms，并维持每秒 2.5 个动作的闭环控制；生成耗时与闭环动作速率是不同指标，不能据此推断其他硬件或控制配置下的实时性。作者另报告，机器人视频预训练与人类视频联合训练显著改善策略性能及对分布偏移的零样本鲁棒性，具体增益、偏移类型与统计依据尚未验证。 平台推测（待验证）：共享离散序列与掩码任务切换可能为 EEG 表征学习及下游解码提供参考，但这是假设，并非已验证的 BCI 结果。迁移依赖合适的 EEG 离散编码及任务监督，需改造视频编码器、动作表示和条件输入；低信噪比、通道差异与小数据可能使量化丢失有效信息，并削弱跨被试泛化。一个可检验的小实验是在固定跨被试划分下，比较共享掩码模型与同一编码器的单任务模型，检查无标签 EEG 联合训练是否改善解码性能。已有 EEG 相关工作尚未检索确认；完整实验协议、消融、统计信息及复现条件尚未验证。

    阅读价值：值得核对其通过推理掩码统一视频预测与动作生成的机制，以及无动作标注视频联合训练对策略性能和分布偏移鲁棒性的贡献；具体增益及对照协议尚未验证。

  3. arXiv · 神经解码与侵入式接口81

    用于超导处理器上表面码存储与逻辑操作的模块化神经网络解码器

    基于摘要分析。研究针对量子纠错解码器难以跨设备、噪声条件与逻辑操作迁移的问题，提出模块化图循环解码器。其核心是复用局部 syndrome（纠错综合征）编码器，先在模拟中预训练，再通过统一流程对硬件数据微调；不同实验之间仅调整轻量级空间聚合模块。 在常规表面码存储基准上，作者报告：该方法在 IBM Nighthawk 代处理器上、码距为 3 和 5 的实验中优于 minimum-weight perfect matching（MWPM）；在 Google 的阈值以下硬件数据上，表现接近 AlphaQubit。摘要未提供具体指标、误差范围或数据划分，不能据此量化优势，也不能直接比较不同硬件上的结果。 作者进一步在同一 IBM 设备上测试两类非存储解码任务。其一是 X 型稳定性实验：通过可变的读出前旋转连续调节有效测量错误率，并以覆盖该噪声范围的数据联合训练单个解码器。作者报告，该模型在整个扫描范围内达到或优于 MWPM，无须为每个噪声设置单独校准解码器。其二是两个码距为 3 的表面码块之间的 ZZ 合并晶格手术实验；作者报告，相比 MWPM，该方法提高了真实硬件上解码所得合并结果与最终 ZZ 奇偶性的相关性。 阅读重点是局部编码模块的复用边界、空间聚合的适配成本，以及模拟预训练到硬件微调的具体流程。作者称模型可在学术研究常见的单 GPU 资源上训练，但训练时间、显存需求、推理延迟、实验协议、消融及统计信息尚未验证。 本研究对象是超导量子处理器的量子纠错，而非脑信号或侵入式接口；来源栏目不能作为 BCI 相关性的证据。其在 EEG/BCI 中的适用性尚未验证，相关工作尚未检索确认。

    阅读价值：值得核对其可复用局部编码器与联合噪声训练如何支撑跨硬件、跨逻辑操作的解码迁移，但材料中的 neural decoding 指量子纠错解码，不能视为 EEG/BCI 神经信号解码证据。

  4. arXiv · 表征与预训练80

    ZeroMAG：面向即插即用 EEG 基础模型的零样本多模态适配器生成

    基于摘要分析。ZeroMAG 研究如何在保留 EEG 基础模型预训练知识的同时，利用伴随生理信号扩展到异构多模态记录。其核心贡献是从无标签目标记录推断并生成适配器，在冻结 EEG 编码器与预测头的条件下实现多模态扩展，不使用目标标签，也不进行目标端优化。 机制上，ZeroMAG 以不随模态配置变化的适配器组织伴随模态，从无标签记录及任务上下文构建“模态—被试—任务”条件，并在由源适配器学习得到、受功能约束的潜在空间中生成适配器权重。这一路径区别于直接回归权重：生成过程不仅依赖权重表征，还通过功能监督约束表征学习与条件生成。具体适配器结构、条件编码方式、功能监督定义及损失形式尚未验证。 作者报告，在六个留出的目标数据集和三个 EEG 基础模型骨干上，ZeroMAG 的 Balanced Accuracy 相比仅使用 EEG 的推理平均提高 7.22 个百分点，相比直接权重回归提高 4.89 个百分点，与有监督多模态适配的平均差距在 0.50 个百分点以内。作者明确说明，目标数据集未参与 ZeroMAG 流程中的任何模型训练与选择；摘要未给出具体数据集、任务、伴随模态、被试数量及被试内或跨被试等划分协议，因此这些平均结果不能直接外推至特定 BCI 场景。 作者报告，移除表征学习或条件生成任一阶段的功能监督都会降低生成适配器的表现，支持两个组件的贡献。复现时需核对源适配器的训练与监督来源、任务上下文的可用信息、无标签目标记录的使用范围，以及有监督多模态对照的协议。实验协议、消融及统计信息尚未验证；对低信噪比、不同通道配置和伴随模态变化的稳健性也尚未验证。

    阅读价值：值得核对其利用无标签目标记录生成多模态适配器的机制，以及目标数据集隔离与功能监督的实现；作者报告的结果为冻结 EEG 基础模型的零样本多模态扩展提供了具体评估依据。

10月2日周五
  1. arXiv · 表征与预训练76

    少测量，多获知：自监督测试时特征采集

    基于摘要分析。本文研究多模态、高维系统在测试时如何避免昂贵且冗余的全量测量，并在下游任务或预测目标未知的情况下，顺序选择有信息量的模态。作者提出任务无关的自监督模态采集原则 ECHO-k，以深度模型的内部预训练表征作为代理目标，用于概括跨模态信息并指导采集。 核心机制是以表征目标替代特定下游任务的监督信号。作者在简化的线性设定下提供理论保证，并据此构建用于顺序模态选择的强化学习（RL）策略。摘要未说明代理目标的具体构造、优化损失、策略状态与奖励，以及采集成本如何计入预算，相关实现细节尚未验证。 作者报告，在与任务无关、无标签的采集基线比较时，ECHO-k 在多种基础模型后端上持续改善预算约束下的下游性能。摘要未提供数据集、预算定义、评估划分、指标或改善幅度，不能据此量化收益或比较不同协议；实验协议、消融及统计信息尚未验证。线性设定下的理论保证也不能直接视为复杂非线性多模态场景的保证。 平台推测（待验证）：该机制可能用于 EEG 与其他模态联合测量时的成本控制，或经改造后用于 EEG 通道组选择。迁移假设依赖预训练表征能够保留下游所需信息，以及模型能够处理部分观测；可复用代理表征目标和顺序采集策略，但需改造观测接口、采集动作与成本定义。EEG 的低信噪比、跨被试差异、通道相关性及小数据可能导致策略追逐不稳定表征，或忽略任务关键但表征不敏感的信息。一个可检验的小实验是固定预训练编码器，在相同采集预算与跨被试划分下，比较代理表征驱动的通道组选择与随机、固定通道组选择，并仅在最终评估阶段使用下游标签；该实验属于迁移验证建议，并非原文结果。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其以预训练内部表征作为代理目标、在下游任务未知时学习预算约束下模态采集策略的机制，但其在 EEG/BCI 中的有效性尚未验证。