TempoMoE:识别并调控快慢思考专家以实现高效多模态推理
TempoMoE: Identifying and Steering Fast-Slow Thinking Experts for Efficient Multimodal Reasoning
基于摘要分析。该研究针对多模态 Mixture-of-Experts(MoE)推理模型在简单输入上过度生成长思维链(CoT)、增加 token 成本与延迟的问题,提出无需训练的 TempoMoE,通过识别并调节快慢思考专家的路由权重,按样本难度控制推理深度。主要研究对象是多模态 MoE 推理模型,而非 EEG 解码或 BCI 系统。 机制方面,作者报告,在固定输入、仅改变提示中的推理节奏时,专家路由呈现稳定变化;抑制慢思考专家会缩短推理链,抑制快思考专家则会延长推理链,作者据此提出这些专家影响推理深度的因果证据。TempoMoE 分两阶段:先通过节奏对比路由分析识别快慢思考专家,再仅在原始 top-k 专家集合内重新分配路由权重。对于简单输入,增强快思考专家并抑制慢思考专家;对于困难输入则反向调节。摘要未说明样本难度的判定方法、专家识别所需数据及具体权重调整规则,相关实现条件尚未验证。 评估方面,作者报告在 Kimi-VL、Qwen3-VL 和 ERNIE-4.5-VL 上、覆盖六个基准的实验中,相较 Vanilla,TempoMoE 持续提高准确率并减少输出 token;其中准确率最大提升为 2.6 个百分点,输出 token 最大减少 35.4%。摘要未给出各项最大收益对应的模型与基准,也未说明二者是否来自同一设置,因此不能将其合并理解为单一实验结果。输出 token 减少也不能直接等同于同比例延迟下降。具体基准名称、数据划分、难度分组、消融、统计信息及端到端延迟尚未验证。 平台推测(待验证):其机制可能适用于能够访问专家路由、且以生成式推理处理 EEG 信息的多模态 MoE 系统,但不直接适用于普通 EEG 分类器。原方法依赖可操控的 MoE 路由与可比较的推理节奏;低信噪比、跨被试差异和小数据可能使难度估计失准,路由调节能否保留神经信号相关信息仍待评估。尚未检索确认已有 EEG 相关工作,不能据此声称 BCI 效果。
值得核对其通过专家路由干预控制推理深度的机制证据,以及在原始 top-k 专家集合内兼顾准确率与输出 token 成本的实现条件;摘要中的效果尚不能外推至 EEG/BCI。
来源:arXiv · 架构与算子 · arxiv.org