跳到正文
OpenReview · State space models· Kolby Nottingham; Yasaman Razeghi; Kyungmin Kim; JB Lanier; Pierre Baldi; Roy Fox; Sameer Singh·· 2023-11-08精选AI 评分77

选择性感知:为语言模型行动者学习简洁的状态描述

Selective Perception: Learning Concise State Descriptions for Language Model Actors

AI 导读

基于摘要分析。本文研究机器人与游戏等具身序贯决策任务中,如何为充当行动者的 LLM 提供简洁且有助于决策的文本状态描述,提出 BLINDER(Brief Language INputs for DEcision-making Responses),以学习式状态特征选择替代手工设计的任务专用描述规则。 核心机制是学习一个以任务为条件的状态描述价值函数,近似评估某种状态描述使 LLM 产生最优动作的可能性,据此选择简洁、有用的状态特征。其针对的问题不是直接压缩语言模型,而是减少高维状态转为文本时的冗余与无关信息,避免穷举描述带来的推理成本及决策干扰。价值函数的训练信号、模型结构、候选描述生成方式及选择过程的额外开销,摘要未披露。 作者报告,在 NetHack 视频游戏和真实世界机器人操作任务中,状态描述长度分别减少 87% 和 99%,任务成功率分别提升 158% 和 54%;这些是摘要所述的相对变化,不能解读为成功率增加相同数值的百分点。摘要未明确对应基线、描述长度的计量方式及成功率绝对值,因此尚不能据此判断实际收益规模或不同任务间的可比性。作者还报告方法可泛化至不同规模和能力的 LLM 行动者,但具体模型及迁移设置尚未验证。 全文核对重点包括:价值函数如何获得监督,特征选择是否依赖额外环境交互,以及描述缩短后的端到端成本与性能权衡。实验协议、消融及统计信息尚未验证。本文主要研究对象是具身任务中的 LLM 状态表述,并非 EEG 解码或 BCI 算法;材料未提供神经信号实验,不能将上述收益视为 BCI 有效性证据。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以任务条件化价值函数学习状态特征选择的机制,可用于核对精简 LLM 输入是否同时降低描述开销并改善决策,但摘要中的增益仍需结合全文基线与评估协议验证。

来源:OpenReview · State space models · openreview.net