动态路由：LLM 测试时多任务适应能力的新维度

基于摘要分析。本文研究能否通过动态选择 LLM 的层执行路径，在 CoT 使用的 token 数量之外，增加一个无需梯度更新的测试时自适应维度。核心贡献是探索从少量示例中快速选择路由程序的策略，并分析其与 CoT 的互补性及失败机制。 动态路由程序可只执行模型的部分层，或重复执行某些层。作者依据候选程序赋予示例标签的概率选择程序，并由模型自身置信度进行仲裁；使用的示例数量为 3 或 10。该过程不需要训练，但依赖带标签示例，不能等同于无监督适应。作者研究选择策略能否跨模型、跨任务使用，而非仅在路由程序训练时相似的问题上有效。 作者报告：在 MMLU 的 49 个任务上，路由带来平均收益，七个模型中的四个收益较明显；在远分布外任务 ARC-AGI 上，一个 7B 模型的准确率经路由后翻倍，而其 CoT 未能奏效。摘要未提供该比较的绝对准确率、具体划分及计算预算，不能据此推断普遍的效率优势。在七个后训练模型的 MMLU 评估中，作者报告路由与 CoT 成功解决的查询不同，两者组合优于单独 CoT。 作者分析认为，置信度选择仍未充分利用路由潜力：预训练早期已存在的潜力在后训练后更难被选出；失败路由还可能使残差流偏离后续层所预期的分布。候选程序构造、搜索成本、置信度校准、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 预训练编码器允许跳过或重复执行层，这一机制可能用于少量标注条件下的跨被试或跨会话适应。可复用的是候选路由选择思路，需改造 EEG 任务输出及置信度估计；低信噪比、通道差异和小样本可能导致选路不稳定及内部表征偏移。一个可证伪的小实验是在冻结的 EEG 编码器上，以相同少量标注支持集比较固定路由与动态路由，并在独立测试集核对性能和计算成本。此迁移仅是假设，相关 EEG 工作尚未检索确认。