跳到正文
OpenReview · State space models· Kolby Nottingham; Yasaman Razeghi; Kyungmin Kim; JB Lanier; Pierre Baldi; Roy Fox; Sameer Singh·· 2023-01-01精选AI 评分75

选择性感知:通过强化学习优化语言模型决策主体的状态描述

Selective Perception: Optimizing State Descriptions with Reinforcement Learning for Language Model Actors

AI 导读

基于摘要分析。该研究面向以 LLM 为决策主体的序列决策任务,研究如何从高维环境状态中选择应以语言传递的信息。作者提出 Brief Language INputs for DEcision-making Responses(BLINDER),通过学习任务条件化状态描述的价值函数,自动选择简洁的状态描述,替代人工设计的任务专用信息筛选协议。 核心机制是优化提供给 LLM actor 的状态信息,而非穷尽描述环境。摘要指出,冗长的高维状态描述可能损害决策表现并增加推理成本;BLINDER 据此学习哪些状态描述更有助于当前任务。价值函数的输入表示、强化学习奖励、候选描述的生成与筛选方式,以及训练和推理流程尚未验证。 作者报告,在视频游戏 NetHack 和机器人操作任务中,BLINDER 提高了任务成功率,减少了输入规模与计算成本,并能在不同 LLM actors 之间泛化。摘要未提供具体数值、对照模型、数据划分或成本测量口径,实验协议、消融及统计信息尚未验证;这里的泛化不能直接解释为 EEG 的跨被试或跨数据集泛化。 平台推测(待验证):若 BCI 系统使用 LLM 根据已解码的用户意图、置信度和外部环境状态选择动作,该方法可能用于筛选传给 LLM 的状态信息,以降低输入冗余,而不是替代 EEG 解码器。其迁移依赖可结构化的状态特征、可评价的任务结果及足够的交互数据;描述选择机制可能复用,状态编码与奖励需适配。低信噪比、跨被试差异、通道变化和小数据可能使价值估计不稳定,或导致关键不确定性信息被过滤。一个可检验的小实验是在固定 EEG 解码器和 LLM actor 的离线回放任务中,对比完整描述、人工筛选与学习筛选,测量任务成功率、输入长度和决策延迟,并核对置信度信息是否被保留。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其将面向 LLM actor 的状态描述选择作为可学习的决策环节,并在游戏与机器人操作任务上报告成功率和输入成本的改善,但具体收益及向 BCI 迁移的有效性尚未验证。

来源:OpenReview · State space models · openreview.net