跳到正文
OpenReview · Representation learning· Hao Zhu; Brice De La Crompe; Gabriel Kalweit; Artur Schneider; Maria Kalweit; Ilka Diester; Joschka Boedecker·· 2024-09-10精选AI 评分75

用于可解释行为表征的多意图逆 Q 学习

Multi-intention Inverse Q-learning for Interpretable Behavior Representation

AI 导读

基于摘要分析。该研究面向动物自然决策行为中的潜在意图识别,提出 hierarchical inverse Q-learning(HIQL)算法类,以无监督方式将专家轨迹划分为多个意图片段,再分别求解逆强化学习(IRL)问题,推断随离散时间变化的奖励。其主要对象是行为轨迹及其奖励解释,而非 EEG 解码或 BCI 控制。 机制上,HIQL 将复杂行为建模为多个意图阶段,每个阶段独立进行奖励反演。相较于摘要提及的连续时间多意图 IRL 框架,该研究关注离散时变奖励与分段意图表示。摘要未提供分段规则、意图数量确定方式、Q 学习目标、优化流程,以及是否联合估计奖励与切换动态;这些实现细节尚未验证。 作者报告,在模拟实验和多个真实动物行为数据集上,HIQL 的行为预测优于所比较的现有基线,并产生可解释的奖励函数;摘要未列出数据集名称、动物数量、划分协议、指标或具体差值。作者据结果提出,复杂决策中的意图转换动态可能更适合用阶跃函数而非平滑变化函数描述。这是作者对所评估行为的解释,不能据此认定已揭示神经机制或普遍成立的意图切换规律。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 BCI 任务已有按时间排序的状态—动作轨迹,且任务意图确实呈分段稳定特征,HIQL 或可作为行为侧的潜在意图模型;这一假设不等于已具备 EEG 表征能力。可复用的是轨迹分段与奖励反演思路,需改造的是神经观测到状态的映射及跨被试适配。低信噪比、小数据和通道差异可能使观测漂移被误判为意图切换。一个可证伪的小实验是在有独立任务切换标注的单被试会话中,以相同轨迹和划分比较分段与平滑意图模型的留出行为预测及切换定位表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 HIQL 将行为轨迹分段与分段奖励反演结合,为比较离散意图切换与平滑变化两种决策解释提供了可核对的建模路径,但其预测优势及解释有效性仍需结合全文协议验证。

来源:OpenReview · Representation learning · openreview.net