Shuqi:面向表征—执行诊断的支持感知可执行推理
Shuqi: Support-Aware Executable Reasoning for Representation--Execution Diagnosis
基于摘要分析。该研究面向语言推理系统,试图区分错误究竟来自未能构建可用表征,还是来自对已明确语义的执行失败;在此基础上提出 Shuqi,将受支持的输入编译为可执行表征,并通过任务特定的支持契约决定是否输出符号执行结果。 诊断方法采用受控的 Raw-NL → Same-IR → deterministic 接口,并结合语义稳定性审计,分别考察与表征相关的性能恢复、残余执行侧错误,以及语义内容固定时的输出不稳定性。作者报告,在所考察的诊断设置中,残余执行差距最高达 23.0 个百分点;对于同一规范表征的无损序列化形式,在来源互不重叠的样例上,输出不一致比例最高达 30.8%。摘要未提供各数值对应的完整任务、模型与划分细节,不能据此推广至所有推理系统。 Shuqi 的核心机制是按任务定义进行确定性执行,并对证据开展重放核验;只有任务特定的支持契约满足时,才放行符号结果,否则回退至冻结的生成式推理器。这一区分使“能够执行”与“适合信任并输出”成为两个独立环节,但支持契约的具体条件、编译过程及核验实现尚未验证。 作者报告,在 ProofWriter 的摘要所述评估中,Shuqi 保留全部 41 个符号修正且未引入回退性错误,Accuracy 达到 98.0%;在 ProntoQA 和 LogicalDeduction 上,Accuracy 均达到 100%。具体基线、样本规模、数据划分、消融及统计信息尚未验证,复现还需核对生成式推理器配置、任务执行器与支持契约。上述结果针对逻辑推理任务,并非 EEG 解码或 BCI 有效性的证据;其在相关系统中的适用性仍待评估。
值得关注其将表征构建、语义执行与结果放行分开诊断的设计,以及基于任务支持契约的符号执行与生成式回退机制;具体收益与适用边界仍需全文核对。
来源:OpenReview · Representation learning · openreview.net