跳到正文

算法、任务与模态

Conditional Computation 最新动态

Conditional Computation 研究索引；按可核对的标签归档，不以热度评价质量。

29 条精选近 30 天 27 条共收录 31 条

更新

精选归档 · 第 2 页

10月4日周日第 21–29 条
  1. arXiv · 泛化与分布偏移79

    动态路由：LLM 测试时多任务适应能力的新维度

    基于摘要分析。本文研究能否通过动态选择 LLM 的层执行路径，在 CoT 使用的 token 数量之外，增加一个无需梯度更新的测试时自适应维度。核心贡献是探索从少量示例中快速选择路由程序的策略，并分析其与 CoT 的互补性及失败机制。 动态路由程序可只执行模型的部分层，或重复执行某些层。作者依据候选程序赋予示例标签的概率选择程序，并由模型自身置信度进行仲裁；使用的示例数量为 3 或 10。该过程不需要训练，但依赖带标签示例，不能等同于无监督适应。作者研究选择策略能否跨模型、跨任务使用，而非仅在路由程序训练时相似的问题上有效。 作者报告：在 MMLU 的 49 个任务上，路由带来平均收益，七个模型中的四个收益较明显；在远分布外任务 ARC-AGI 上，一个 7B 模型的准确率经路由后翻倍，而其 CoT 未能奏效。摘要未提供该比较的绝对准确率、具体划分及计算预算，不能据此推断普遍的效率优势。在七个后训练模型的 MMLU 评估中，作者报告路由与 CoT 成功解决的查询不同，两者组合优于单独 CoT。 作者分析认为，置信度选择仍未充分利用路由潜力：预训练早期已存在的潜力在后训练后更难被选出；失败路由还可能使残差流偏离后续层所预期的分布。候选程序构造、搜索成本、置信度校准、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 预训练编码器允许跳过或重复执行层，这一机制可能用于少量标注条件下的跨被试或跨会话适应。可复用的是候选路由选择思路，需改造 EEG 任务输出及置信度估计；低信噪比、通道差异和小样本可能导致选路不稳定及内部表征偏移。一个可证伪的小实验是在冻结的 EEG 编码器上，以相同少量标注支持集比较固定路由与动态路由，并在独立测试集核对性能和计算成本。此迁移仅是假设，相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其利用少量带标签示例、无需梯度更新的动态路由选择机制，以及路由与 CoT 的互补性和残差流分布偏移分析；作者报告的收益仍需结合全文核对具体协议。

10月3日周六
  1. arXiv · 在线与高效推理80

    学习决策而非推理：通过低秩激活引导实现参数高效的决策算子

    基于摘要分析。研究面向冻结语言模型的技能注入，提出以行为克隆训练的 System-1 决策算子 DecSteer，尝试用低秩激活引导替代高成本的强化学习技能算子，并减少决策时的长文本推演。 核心机制是共享低秩骨干与零初始化的输出投影。作者指出，既有算子的初始化会使两个大型因子矩阵在首次优化时梯度为零，而 DecSteer 的输出投影能够立即接收梯度；作者报告以梯度流探针直接验证了这一差异。其解释将可训练性的改善归于初始化与架构的共同作用，而非单纯压缩 chain-of-thought。作者还报告，logit-lens 探针显示算子沿模型已有的后层路径增强答案信号，而不是将答案提前写入较早层。 作者报告，默认算子以 330K 参数达到或超过一个使用强化学习训练、含 1.33M 参数的对照算子，并在所述比较中将 3,685-token 推演缩短为 6-token 决策且不损失准确性。rank-4 变体含 23K 参数，为其所比较的最强已发表技能算子参数量的 1/58；该变体在 SearchQA 上已足够，在 LiveMath 上接近足够，但更高秩仍有帮助。上述比较的具体数据划分、指标定义与任务级结果尚未验证，不能据此认定对任意任务均能保持准确性。 作者报告，该训练方案可用于五个任务和三个骨干模型，且在训练数月后发布的 LiveMath 问题上仍有分布外收益；收益与基础模型的提升空间相关，技能算子还可近似线性地相加、插值，并在推理时热切换。技能组合的有效范围与干扰程度仍需核对全文。 复现应重点核对行为克隆的示范来源、低秩算子的插入位置、初始化细节、训练与推理成本，以及强化学习对照的评估条件。实验协议、消融及统计信息尚未验证。材料未提供 EEG/BCI 实验，不能将语言模型中的收益视为脑信号任务中的已验证效果；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对的是低秩算子的初始化如何改善梯度流，以及行为克隆能否在相同任务协议下替代强化学习训练并缩短决策输出；摘要中的效率与准确性结论仍需全文验证。

  2. arXiv · 多模态与生成机制78

    ALoDLM：自适应循环扩散语言模型

    基于摘要分析。该研究针对扩散语言模型（DLMs）并行生成速度快、但生成质量落后于规模相近自回归（AR）模型的问题，提出 ALoDLM，以 token 自适应潜在递归替代统一计算深度。作者将质量差距归因于计算量与预测难度不匹配：部分未知 token 容易预测，另一些则需要更多计算，而既有 DLMs 在每个去噪步骤中对未知位置采用统一深度。 在每个去噪步骤，ALoDLM 迭代细化潜在表示，并按 token 难度分配计算。已可确定的 token 作为离散上下文反馈，尚未确定的 token 则保留潜在状态，继续通过递归计算细化。为联合学习 token 预测与计算分配，作者将逐 token 的计算调度建模为潜变量，并推导条件负证据下界（NELBO）。具体难度判定、提交规则、递归终止条件及损失实现尚未验证。 作者报告，在 1.7B 与 8B 参数规模、涵盖十一项基准的评估中，ALoDLM 在两种规模下的平均基准分数均超过所有受评估 DLMs 及对应 AR 基线；在优化推理引擎下保留快速并行解码，并在受评估模型中取得较好的质量—效率权衡。摘要未提供基准名称、具体分数、数据划分、推理预算或速度测量条件，不能据此量化提升或外推到其他任务。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 掩码建模中不同时间片或通道的重建难度存在稳定差异，按位置分配递归计算可能减少对容易位置的重复计算。原方法依赖部分可观测的离散 token 序列与迭代去噪；迁移时可考虑复用潜在递归与计算调度，但需改造连续信号预测目标、位置表示及离散提交机制。低信噪比可能使噪声被误判为高难度，被试和通道差异也可能破坏调度泛化，小数据条件下联合学习调度存在不稳定风险。可在固定 EEG 数据划分、相同骨干与总计算预算下，对比统一递归和自适应递归的掩码重建误差及下游解码表现，检验额外计算是否真正改善有效信号恢复。已有相关 EEG 工作尚未检索确认。

    阅读价值：值得关注其以 token 级潜在递归联合学习预测与计算分配的机制，以及作者报告的质量—效率权衡；具体收益仍需结合基准协议、计算预算与消融核对。

  3. arXiv · 多模态与生成机制75

    SWAP：面向 Vision-Language-Action 模型的逐步动作策略路由

    基于摘要分析。该研究针对单一 Vision-Language-Action（VLA）模型难以适应不同任务状态与环境的问题，提出 StepWise Action Policy Routing（SWAP），在执行过程中动态组合多个 VLA 策略，而非整段任务始终使用同一策略。 核心机制是将策略路由建模为离线强化学习问题，学习一个 routing critic，根据当前观测在每个决策步选择适合执行的策略。其贡献重点在于将策略选择从整段 episode 的固定承诺改为在线逐步切换；摘要未说明 critic 的结构、训练目标、离线数据构成、候选 VLA 配置及切换开销，相关细节尚未验证。 作者在真实世界 DROID 操作任务和 LIBERO 仿真实验中评估 SWAP，报告其优于固定策略执行与路由基线。对于真实世界任务，作者报告任务成功率的绝对提升最高为 33%（原文如此表述；具体基线、分母及是否按百分点统计尚待全文核对），成功轨迹中的机器人动作步数减少 28.3%。这些结果属于机器人操作评估，不能视为 EEG 或 BCI 性能证据；任务划分、样本规模、消融及统计信息尚未验证。 平台推测（待验证）：假设不同 EEG 解码器在不同信号状态下具有互补性，可探索以观测驱动的路由器选择解码器。可复用的是逐步策略选择思想，但需改造观测表示、奖励定义与切换约束；其依赖能支持离线学习的状态、动作及结果记录。EEG 低信噪比、跨被试差异和小数据可能使路由判断不稳定，解码器频繁切换也可能损害输出连续性。一个可证伪的小实验是在严格隔离训练与测试数据的单一 EEG 任务中，比较路由组合、最佳固定解码器与简单路由基线，并核对收益是否伴随切换频率或延迟增加。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是将多 VLA 的选择转化为逐决策步的离线强化学习路由，并以真实机器人任务与仿真实验检验相对固定策略和路由基线的收益；其对 BCI 的适用性尚未验证。

  4. arXiv · 多模态与生成机制80

    FADE：基于帧感知 Diffusion Transformer 的多概念擦除与视频遗忘

    基于摘要分析。该研究针对 Text-to-video（T2V）扩散模型的概念擦除问题，提出 Frame-Aware Diffusion Erasure（FADE），旨在同时移除多个指定概念并保留非目标生成行为。其关注的关键问题是：忽略帧差异的抑制可能让已擦除概念在个别帧中重新出现，而视频片段级平均指标可能掩盖这种残留。 机制上，FADE 先对 key/value 执行联合闭式编辑以抑制全部目标概念，再训练各概念专属的帧感知低秩适配器，通过帧索引与去噪时间步控制适配强度，清除逐帧残留。训练每个适配器时，将其他目标概念的提示词作为困难负例，以分离不同适配器的概念特异性成分；推理时由基于相似度的软路由器根据提示词组合适配器。具体编辑公式、损失、路由相似度定义及训练成本尚未验证。 作者报告，在单个 Wan2.1-T2V-1.3B 骨干上同时擦除涵盖物体、艺术风格与裸露内容的 16 个概念后，物体基准的残留 Accuracy 为 4.9%，八种基线中最强者为 15.5%；VBench 平均值与未编辑模型的差异保持在 0.9% 以内。这里的残留 Accuracy 用于衡量擦除后目标概念的残留，不能视为一般任务分类性能；摘要未说明 VBench 差异的具体计算口径。作者还报告，VLM 评判与盲法人类研究下方法排名不变，相对最强基线的优势延续至多目标组合提示词、同时擦除 30 个名人身份，以及 Wan2.1-T2V-14B、CogVideoX-2B 和 HunyuanVideo-1.5。 复现时应重点核对逐帧与片段级指标的关系、目标及非目标提示词划分、残留判定阈值、基线配置，以及闭式编辑、帧感知门控、困难负例和软路由各自的贡献。实验协议、消融及统计信息尚未验证。该研究的直接证据限于视频生成模型遗忘，不能据此推导 EEG/BCI 中的身份信息去除或隐私保护效果；相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其逐帧概念再激活评估与多概念适配器隔离机制：作者报告在同一视频生成骨干上兼顾概念擦除和非目标生成质量，但具体评估协议与统计可靠性尚未验证。

  5. arXiv · 表征与预训练80

    ZeroMAG：面向即插即用 EEG 基础模型的零样本多模态适配器生成

    基于摘要分析。ZeroMAG 研究如何在保留 EEG 基础模型预训练知识的同时，利用伴随生理信号扩展到异构多模态记录。其核心贡献是从无标签目标记录推断并生成适配器，在冻结 EEG 编码器与预测头的条件下实现多模态扩展，不使用目标标签，也不进行目标端优化。 机制上，ZeroMAG 以不随模态配置变化的适配器组织伴随模态，从无标签记录及任务上下文构建“模态—被试—任务”条件，并在由源适配器学习得到、受功能约束的潜在空间中生成适配器权重。这一路径区别于直接回归权重：生成过程不仅依赖权重表征，还通过功能监督约束表征学习与条件生成。具体适配器结构、条件编码方式、功能监督定义及损失形式尚未验证。 作者报告，在六个留出的目标数据集和三个 EEG 基础模型骨干上，ZeroMAG 的 Balanced Accuracy 相比仅使用 EEG 的推理平均提高 7.22 个百分点，相比直接权重回归提高 4.89 个百分点，与有监督多模态适配的平均差距在 0.50 个百分点以内。作者明确说明，目标数据集未参与 ZeroMAG 流程中的任何模型训练与选择；摘要未给出具体数据集、任务、伴随模态、被试数量及被试内或跨被试等划分协议，因此这些平均结果不能直接外推至特定 BCI 场景。 作者报告，移除表征学习或条件生成任一阶段的功能监督都会降低生成适配器的表现，支持两个组件的贡献。复现时需核对源适配器的训练与监督来源、任务上下文的可用信息、无标签目标记录的使用范围，以及有监督多模态对照的协议。实验协议、消融及统计信息尚未验证；对低信噪比、不同通道配置和伴随模态变化的稳健性也尚未验证。

    阅读价值：值得核对其利用无标签目标记录生成多模态适配器的机制，以及目标数据集隔离与功能监督的实现；作者报告的结果为冻结 EEG 基础模型的零样本多模态扩展提供了具体评估依据。

10月2日周五
  1. arXiv · 多模态与生成机制74

    检测与抑制：针对 VLA 模型对抗补丁的机制性防御

    基于摘要分析。研究针对对抗补丁通过操纵视觉观测导致 Vision-Language-Action（VLA）模型机器人控制失败的问题，利用 sparse autoencoder（SAE，稀疏自编码器）分析内部表征，并提出由攻击检测触发的特征抑制防御，无需微调 VLA 模型。 核心机制是先识别一个激活与对抗补丁存在高度相关的内部特征，再通过线性探针检测攻击，仅在检测到攻击时于推理阶段抑制该特征。摘要支持的是特征与补丁存在的相关性；该特征是否具有特定语义，以及它在控制失败中的因果作用范围，尚需正文核对。方法的关键不只是选择抑制目标，还包括控制干预时机，以减少对正常策略行为的扰动。 作者报告，在 LIBERO-10 的 VLA 对抗补丁攻击评估中，条件干预提高了间歇性攻击下的任务成功率，而持续施加同一干预会显著降低策略表现。摘要未提供具体成功率、攻击频率、补丁设置或基线数值，因此不能量化收益，也不能据此判断对其他攻击形式的泛化能力。VLA 型号、SAE 训练数据及配置、线性探针监督与阈值、评估划分、消融及统计信息尚未验证；复现需核对这些条件，以及误报和漏报如何影响正常任务与受攻击任务。 平台推测（待验证）：可迁移的机制假设是，若 EEG 模型内部存在与伪迹相关且可分离的特征，条件检测与选择性抑制可能比持续抑制更少损伤有效信号。可复用的是“检测后干预”的框架，需改造的是 EEG 表征提取、伪迹监督与干预位置；低信噪比、跨被试差异、通道变化和小数据可能使伪迹特征与任务信息混合。一个小规模可证伪实验是在固定 EEG 分类器与数据划分下，比较不干预、持续抑制和条件抑制，并分别评估干净及间歇性伪迹条件下的任务表现。此假设不构成已验证的 EEG/BCI 效果，相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的具体原因是，作者将 SAE 特征分析与线性探针触发的推理时抑制结合，并比较条件干预与持续干预，提供了核对防御收益及正常策略受损风险的机制性切入点。

9月28日周六
  1. OpenReview · EEG72

    从静息到行动：利用 HyperNetworks 根据静息态 EEG 自适应生成运动想象分类权重

    基于摘要分析。该研究针对 EEG-BCI 运动想象（MI）分类需要较长用户校准、静息态 EEG 中的个体信息未被充分利用的问题，提出 HyperEEGNet：将 HyperNetworks（HNs）与 EEGNet 结合，根据静息态 EEG 自适应生成 MI 分类所用权重，探索被试内、跨被试及跨会话泛化。 核心机制是把静息态 EEG 作为生成分类器权重的依据，而非仅依赖目标用户的 MI 数据训练固定分类器。摘要未说明静息态输入的表示方式、生成哪些权重、HNs 与 EEGNet 的具体连接、损失函数或训练与推理流程，因此尚不能判断新用户适配需要多少静息态记录、是否需要 MI 标签，以及校准时间是否实际缩短。 作者报告，在包含 9 名参与者的数据集上，Leave-Subject-Out 评估中的表现与基线 EEGNet 相近；在扩展至 33 名参与者的数据规模后，模型利用静息态 EEG 信息展示了面向未见被试的泛化能力。作者还报告模型能够在跨会话与跨用户场景学习稳健表示，但摘要未给出数据集名称、具体划分、评价指标、性能数值或统计不确定性，不能量化相对基线的收益，也不能直接比较不同协议的结果。 作者将较小模型占用与降低边缘计算的内存、存储需求联系起来，并提出加快用户校准的应用前景；具体资源测量和校准收益尚未验证。复现时需核对静息态与 MI 数据的配对方式、会话关系、未见被试适配流程及基线的可用数据条件。实验协议、消融及统计信息尚未验证，尤其需确认性能变化来自静息态个体信息、权重生成机制还是训练数据规模变化。

    阅读价值：值得核对其以静息态 EEG 驱动 HyperNetworks 生成 MI 分类器权重的个体适配机制，尤其是未见被试泛化与减少校准需求的证据，但具体性能和资源收益尚未验证。

9月27日周五
  1. OpenReview · State space models75

    MatMamba：一种 Matryoshka 状态空间模型

    基于摘要分析。MatMamba 研究如何让单个状态空间模型适应不同推理计算预算，将 Matryoshka 式学习与 Mamba2 结合，通过修改模型块以包含嵌套维度，实现不同规模子模型的联合训练与自适应推理。 核心机制是从一个训练完成的大模型中提取多个较小的嵌套子模型，而非为每种部署规模分别训练模型。摘要将其与 Matryoshka Representation Learning 及其在 Transformer 骨干上的应用 MatFormer 联系起来；具体维度嵌套方式、训练目标、子模型采样策略和推理规模选择规则尚未验证。 作者报告，在参数规模为 35M 至 1.4B 的语言与图像模型实验中，嵌套小模型能够保持或超过从头训练的小模型基线的性能。作者还报告，ImageNet 和 FineWeb 上的结果显示 MatMamba 具有与 Transformers 相近的扩展表现，并具备更高效的推理特性。摘要未提供具体指标、计算预算、硬件、数据划分或延迟数值，因此不能量化性能收益或推理加速；实验协议、消融及统计信息尚未验证。“免费”获得子模型应理解为不必逐个从头训练，不代表联合训练或部署没有额外开销。 平台推测（待验证）：若 EEG 时序任务需要在不同设备计算预算间部署，嵌套子模型可能提供可复用的弹性容量机制。该假设依赖共享模型在不同容量下仍能学习有效时序表征；原摘要的语言与图像实验不能直接证明 EEG 效果。可复用部分是 Mamba2 中的嵌套维度与联合训练思路，EEG 输入编码、通道组织及任务输出模块则需改造。低信噪比、跨被试差异、通道变化和小数据条件可能使较小子模型丢失有效信息。一个可检验的小实验是在固定 EEG 任务及 Cross-subject 划分下，比较联合训练的嵌套子模型与相应规模的独立训练基线，同时记录任务指标、参数量和同一硬件上的推理延迟。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其将 Matryoshka 式嵌套维度引入 Mamba2、联合训练多种规模子模型的机制，并核对弹性推理的性能—计算开销权衡；摘要尚不足以验证实际加速幅度或 EEG 适用性。