跳到正文
OpenReview · State space models·· 25 天前精选AI 评分78

构建状态与使用状态:多步任务中的表征与利用

Building State v.s. Using State: Representation and Utilization in Multi-Step Tasks

AI 导读

基于摘要分析。本文研究语言模型与部分可观测强化学习智能体在多步任务中的两类能力:维持后续决策所需的内部状态,以及利用该状态生成动作或答案。核心贡献是通过解码分析与干预,将状态表征质量和状态利用能力分开考察,指出有用信息已经形成后,状态到行为的映射仍可能成为性能瓶颈。 在受控迷宫任务中,作者报告,地图相关信息在模型取得较强任务表现之前就已可被线性解码;匹配的信念状态交换实验进一步表明,内部地图内容会影响行为。然而,提高可解码性的表征定向辅助训练,使紧时限条件下的成功率仅从0.093变为0.094;策略层面的监督则将其提高至0.497。这里的关键区别是:信息能够被外部探针读出,不等于模型自身能够有效利用它。 在Craftax中,作者报告,循环状态对较强任务表现是必要的,并包含隐藏的空间信息,但显著提高位置可解码性并未改善奖励。在有信息的状态形成之后,针对状态到行为映射的干预带来收益:收敛后施加效率压力,使Craftax分数从15.09提高至16.56;语言任务中的latent-guided distillation,使低数据条件下的答案Accuracy从0.86提高至0.94。上述结果分别来自不同任务与干预条件,不能直接横向比较。辅助训练、效率压力和蒸馏的具体实现、数据划分、基线、消融及统计信息尚未验证。 平台推测(待验证):这一诊断思路可能适用于具有时序上下文的EEG解码,但本文没有提供EEG或BCI有效性证据。可复用的是“内部状态探针加行为干预”的分析框架,而非直接移植任务策略;需适配EEG编码器、时序状态与任务输出。一个可检验的假设是:在固定编码器和被试划分下,分别施加表征辅助监督与输出映射监督,比较可解码性和任务指标是否同步改善。低信噪比、跨被试差异、通道变化及小样本均可能使探针捕获混杂信息,或使映射改进难以泛化;相关EEG工作尚未检索确认。

阅读价值

值得核对其区分“状态可解码性”与“状态对行为的有效利用”的干预证据:作者报告,提高内部信息的可解码性未必改善任务表现,而针对状态到行为映射的干预可以带来收益。

来源:OpenReview · State space models · openreview.net