跳到正文
只看一手#Conditional Computation
10月9日周五
  1. arXiv · 时序与音频基础模型73

    AdaCast：用于自适应时间序列预测的条件参数生成

    基于摘要分析。AdaCast 针对时间序列基础模型（TSFM）的静态适应问题，提出条件参数生成框架：根据每个输入生成低秩参数更新，使冻结的预训练模型能够针对不同时间模式、季节性与动态特征进行预测。 核心机制是由生成器产生输入特定的低秩参数更新，并在训练和推理阶段应用这些更新。与为整个数据集学习一组固定更新、对所有输入使用同一适应模型的方案相比，其关键区别在于参数适应随输入变化。摘要未说明生成器结构、条件输入形式、更新作用位置、低秩设置及训练目标，这些细节尚未验证。 作者报告，在六个公开基准上，AdaCast 的域内预测表现持续优于静态适应基线，并改善了对跨领域留出数据集的零样本泛化。摘要未提供基准名称、指标、提升幅度或具体数据划分，不能据此量化收益或比较不同协议；实验协议、消融及统计信息尚未验证。复现还需核对预训练 TSFM、生成器训练所用数据、留出数据集与训练数据的关系，以及训练和推理的计算开销。 平台推测（待验证）：输入条件化更新可能用于缓解 EEG 时序预测中不同被试或状态造成的动态异质性，但原领域有效不等于 BCI 有效。可复用的部分是冻结主干与条件低秩更新机制；需改造输入表示、通道组织和预测目标，并确认 EEG 数据规模与监督条件能否支持生成器训练。低信噪比、通道差异及小数据可能使生成器追随伪迹而非稳定动态。一个可证伪的小实验是在固定 EEG 预测主干、训练数据与更新预算下，对比静态低秩更新和输入条件化更新，采用被试隔离的 Cross-subject 划分并检查误差与伪迹敏感性。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对输入条件化低秩参数更新相较静态适应的增益及其跨数据集泛化边界；摘要提供了明确机制，但其对 EEG 的适用性尚未验证。

10月5日周一
  1. arXiv · 架构与算子74

    CIPHER-MoE：平衡万亿规模 MoE 训练的效率与路由保真度

    基于摘要分析。CIPHER-MoE 针对大规模 LLM 的 MoE 训练中非均匀 token 路由造成的专家及设备负载失衡，提出结合亲和度感知 Expert-to-Token 过滤与显式容量控制的方法，在保持路由器 token 侧 Top-K 选择不变的前提下削减热点专家负载。 核心机制是从专家侧过滤分配给专家的 token，而非改变 token 侧的 Top-K 选择。摘要将其与复杂并行策略、资源重分配等系统方案区分，强调不需要额外硬件资源或复杂运行时设计。但保持 Top-K 选择不变不等于所有被选中的专家都实际处理对应 token；过滤后的计算路径、亲和度定义、容量设定以及未获处理 token 的处置方式，均需核对全文。 作者报告，在包括 DeepSeek-V4-Pro 在内的大规模 MoE 模型评估中，Top-1 专家工作负载降幅最高达 64.9 个百分点，训练加速为 1.10×–1.94×，并保持训练质量。摘要未给出这些数值对应的具体模型配置、硬件、数据划分、对照基线及质量指标，因此不能据此推断各模型均达到最高收益，也不能直接比较不同设置。实验协议、消融及统计信息尚未验证。摘要称代码将于近期发布，当前材料未提供可用实现。 平台推测（待验证）：若 EEG 基础模型采用 MoE，专家侧容量控制可能缓解路由热点；这一假设依赖模型确实存在负载失衡及可用于过滤的亲和度信息。可复用的是专家侧过滤与容量约束，需改造的是 EEG token 定义及过滤策略。低信噪比、跨被试差异和小数据条件下，过滤可能丢弃稀有但有判别价值的信号。可在固定 EEG MoE、数据划分与硬件下，对比原始路由和加入过滤后的专家负载、吞吐及任务指标，检验效率收益是否伴随性能损失。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其在保持 token 侧 Top-K 选择不变时如何通过专家侧容量控制缓解负载热点，尤其是训练加速、路由保真度与训练质量之间的取舍。

10月4日周日
  1. arXiv · 架构与算子71

    LoopMoEVR：用于统一 UHD 视频复原的基于循环的退化感知混合专家模型

    基于摘要分析。LoopMoEVR 面向统一 UHD 视频复原中依靠增加模型深度却收益有限的问题，将循环学习与退化感知混合专家机制结合，用输入相关的条件与自适应循环次数处理不同退化任务。 机制上，退化条件化的低秩循环嵌入生成依赖输入的阶段条件；时空迭代自适应归一化模块 IterAda3DN 融合局部特征与全局循环上下文，实施逐位置仿射调制。专家分支进一步结合经注意力更新的局部、全局视频状态及循环条件，生成专用调制参数；输入条件化的深度预测器则自适应确定循环迭代次数。摘要未给出专家路由、循环参数共享方式、损失函数及训练细节，这些内容尚未验证。 作者报告，模型仅含约 0.884M 个可训练参数，可统一处理 UHD 视频去雾、去雨、去噪和低照度增强，并在公开基准与真实场景中达到最先进复原性能。摘要未提供具体数据集、划分、指标、对照基线及分数，因此无法核对该性能主张，也不能将较少可训练参数直接等同于更低推理延迟或显存占用。实验协议、消融及统计信息尚未验证；复现还需核对 UHD 输入规格、退化构造、迭代次数分布及代码与权重可用性。 平台推测（待验证）：跨领域迁移假设是，退化条件化调制与循环精炼可能用于 EEG 去噪或伪迹抑制，对应信号污染类型变化这一瓶颈。可考虑复用条件生成与迭代深度控制机制，但需将视频时空特征模块改为适合 EEG 时间与通道结构的实现，并明确退化监督或干净参考的来源。低信噪比、跨被试差异、通道布局变化及小数据可能使条件预测失准，或使反复精炼抹除任务相关信号。一个可证伪的小实验是在固定 EEG 划分和相同伪迹条件下，对比固定循环次数与自适应次数，同时检查去噪指标及下游任务表现。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其退化条件化循环、专家调制与自适应迭代深度如何以较少可训练参数统一多种视频复原任务，但摘要中的性能主张及计算效率尚需全文验证。

10月3日周六
  1. arXiv · 表征与预训练80

    ZeroMAG：面向即插即用 EEG 基础模型的零样本多模态适配器生成

    基于摘要分析。ZeroMAG 研究如何在保留 EEG 基础模型预训练知识的同时，利用伴随生理信号扩展到异构多模态记录。其核心贡献是从无标签目标记录推断并生成适配器，在冻结 EEG 编码器与预测头的条件下实现多模态扩展，不使用目标标签，也不进行目标端优化。 机制上，ZeroMAG 以不随模态配置变化的适配器组织伴随模态，从无标签记录及任务上下文构建“模态—被试—任务”条件，并在由源适配器学习得到、受功能约束的潜在空间中生成适配器权重。这一路径区别于直接回归权重：生成过程不仅依赖权重表征，还通过功能监督约束表征学习与条件生成。具体适配器结构、条件编码方式、功能监督定义及损失形式尚未验证。 作者报告，在六个留出的目标数据集和三个 EEG 基础模型骨干上，ZeroMAG 的 Balanced Accuracy 相比仅使用 EEG 的推理平均提高 7.22 个百分点，相比直接权重回归提高 4.89 个百分点，与有监督多模态适配的平均差距在 0.50 个百分点以内。作者明确说明，目标数据集未参与 ZeroMAG 流程中的任何模型训练与选择；摘要未给出具体数据集、任务、伴随模态、被试数量及被试内或跨被试等划分协议，因此这些平均结果不能直接外推至特定 BCI 场景。 作者报告，移除表征学习或条件生成任一阶段的功能监督都会降低生成适配器的表现，支持两个组件的贡献。复现时需核对源适配器的训练与监督来源、任务上下文的可用信息、无标签目标记录的使用范围，以及有监督多模态对照的协议。实验协议、消融及统计信息尚未验证；对低信噪比、不同通道配置和伴随模态变化的稳健性也尚未验证。

    阅读价值：值得核对其利用无标签目标记录生成多模态适配器的机制，以及目标数据集隔离与功能监督的实现；作者报告的结果为冻结 EEG 基础模型的零样本多模态扩展提供了具体评估依据。