跳到正文
OpenReview · State space models· Kolby Nottingham; Yasaman Razeghi; Kyungmin Kim; JB Lanier; Pierre Baldi; Roy Fox; Sameer Singh·· 2024-01-01精选AI 评分76

选择性感知:为语言模型行动体学习简洁的状态描述

Selective Perception: Learning Concise State Descriptions for Language Model Actors

AI 导读

基于摘要分析。该研究针对语言模型行动体处理冗长状态描述时的推理时间与成本问题,提出 BLINDER:利用经过微调的小型 LM 采样输入特征子集,目标是在维持或提高下游 LM 任务表现的同时,提供尽可能精简的输入。研究对象是 NetHack 与机器人规划中的具身决策任务,而非 EEG/BCI 信号建模。 机制上,BLINDER 为 LM 配置 value head,用于估计下游 LM 在给定输入条件下产生最优输出的可能性,并据此支持输入特征选择。摘要没有说明特征粒度、采样策略、监督信号构造、具体损失或训练规模,这些实现条件尚未验证。 作者报告,在 NetHack 和机器人规划评估中,LM 行动体输入长度分别减少 87% 和 99%,任务成功率分别提高 158% 和 54%;成功率增幅不能解读为提高相同数值的百分点。摘要未提供绝对成功率、具体对照、数据划分和推理耗时或费用测量,实验协议、消融及统计信息尚未验证,不能据此量化实际部署收益。 平台推测(待验证):若 EEG/BCI 系统已将解码结果、设备状态和交互历史组织为供 LM 决策的文本状态,BLINDER 的信息筛选机制可能用于压缩该决策层输入,而不是直接替代 EEG 解码。可复用的是特征选择与价值估计思路,需改造的是状态表示和任务成功监督;低信噪比、跨被试差异及小数据可能使筛选器误删关键但罕见的状态线索,原始 EEG 通道也不能直接等同于文本特征。一个可证伪的小实验是在固定 EEG 解码器和下游 LM 的条件下,对比完整状态、等长度随机筛选与学习筛选,按跨被试划分检验任务成功率、输入长度和推理时延。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 BLINDER 以小型 LM 选择状态信息、减少下游 LM 输入的机制,以及作者报告的输入压缩与任务成功率同步改善;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net