用于人类决策建模的状态依赖前瞻逆强化学习
Inverse Reinforcement Learning with State-Dependent Foresight for Human Decision-Making
基于摘要分析。本文研究自然情境任务中的人类决策建模,提出 SC-AIRL(State-Conditional Adversarial IRL),在逆强化学习(IRL)中引入有限且随状态变化的前瞻,以推断潜在奖励并刻画规划深度。主要研究对象是行人过街和高速公路超车任务中的行为轨迹,而非 EEG 或 BCI 信号。 机制上,作者将标准 IRL 描述为通常采用实际上的无限时域规划假设;SC-AIRL 则让不同规划深度的策略共享同一个奖励函数,但显式累积奖励的前瞻范围不同,再由状态条件路由器根据当前状态混合这些策略。该设计旨在区分“偏好什么”与“向前考虑多远”,并提供状态依赖前瞻的可解释估计。摘要未提供路由器结构、损失形式及具体训练流程。 在留出的任务回合上,作者报告,相比 Standard AIRL,SC-AIRL 在行人过街任务中的 top-1 Accuracy 从 0.549 提升至 0.652,在高速公路超车任务中从 0.629 提升至 0.718;作者还报告,模型生成的轨迹更接近参与者行为,推断的规划深度与自报告焦虑、运动冲动性相关。摘要未说明留出回合是否涉及跨被试评估,因此不能将这些结果视为跨被试泛化证据;相关关系也不能直接解释为因果关系或临床效度。 被试规模、状态与动作定义、候选规划深度、划分细节、相关系数、消融及统计信息尚未验证。现有材料支持将其视为行为计算建模方法,尚不支持宣称 EEG 解码或 BCI 性能收益;已有 EEG 相关工作尚未检索确认。
值得关注其通过共享奖励、不同规划深度策略与状态条件路由,将行为模仿与可解释的前瞻深度估计结合起来;但行为拟合提升及心理量表相关性尚不足以验证该参数的认知效度。
来源:OpenReview · State space models · openreview.net