跳到正文
OpenReview · State space models· Li Wang; Changhao Zhang; Zengqi Xiu; Kai Lu; Xin Yu; Kui Zhang; Wenjun Wu·· 2025-01-01精选AI 评分73

通过问题空间映射解耦理解与推理以提升小规模模型的推理能力

Decoupling Understanding from Reasoning via Problem Space Mapping for Small-scale Model Reasoning

AI 导读

基于摘要分析。本文研究 Small Language Models(SLMs)在数学与逻辑任务中的推理困难,提出将自然语言问题映射到语义简化但保留表达能力的规范问题空间,使模型分别处理问题理解与推理。核心贡献是 DURIT(Decoupled Understanding from Reasoning via Iterative Training),通过交替训练映射器与推理器,降低语言表述变化和冗余信息对推理的干扰。 作者将瓶颈归因于小规模模型的双重负担:既要从复杂语言中提取核心问题,又要据此完成推理。摘要以参数规模不超过 1.5B 的 SLMs 为研究背景示例,但未给出实际参评模型及其规模。DURIT 的迭代流程包括三个步骤:通过强化学习将自然语言问题映射到规范问题空间;通过自蒸馏对齐推理轨迹;在该问题空间中训练推理策略。映射器与推理器在整个过程中交替联合训练。问题空间的具体表示、强化学习奖励、轨迹对齐方式及损失定义尚未验证。 作者报告,DURIT 在域内与域外数学、逻辑推理任务上均提升了 SLMs 的表现,并改善推理鲁棒性。摘要未提供数据集名称、划分协议、对照基线、指标或具体数值,因此不能量化提升幅度,也不能将域外任务结果直接视为其他领域的有效性证据。实验协议、消融及统计信息尚未验证。 复现时需要核对规范化映射是否保留求解所需的条件与约束,以及性能提升分别来自输入简化、推理轨迹自蒸馏还是交替训练;同时需确认训练数据、映射器与推理器配置及计算预算。这些是待核对事项,并非摘要已证明的局限。本文主要研究对象是语言模型推理,材料未建立其与 EEG 信号建模或 BCI 任务的具体机制对应关系,不据此提出 BCI 迁移效果或复现实验建议;相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是 DURIT 将自然语言理解与推理解耦,并通过映射器和推理器交替训练减少表述变化的干扰;其规范化映射能否保持语义及独立贡献仍需结合全文验证。

来源:OpenReview · State space models · openreview.net