具有状态感知成本的 MDP

基于摘要分析。本文研究环境状态的感知或计算具有成本时，智能体如何联合决定何时获取状态、采取何种动作。作者将问题建模为期望折扣成本 Markov Decision Process（MDP），允许智能体支付成本感知下一状态，也允许其在不知道当前系统状态的情况下继续行动。 方法上，作者将该问题转化为具有扩展、可数无限状态空间的经典折扣成本 MDP。由于一般情况下计算最优策略难以求解，作者推导最优价值函数的下界，用于界定任意策略的次优差距；同时提出基于策略改进、计算高效的算法 SPI。摘要未给出扩展状态的具体构成、下界计算方法或 SPI 的更新规则。 作者报告，SPI 在实践中表现接近最优策略，并通过一个数值案例与现有先进方法比较；但摘要未提供案例系统、感知成本设置、对照算法、误差或计算开销，因此尚不能量化其优势及适用范围。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其机制可能适用于将信息获取成本显式纳入目标的闭环 EEG/BCI 决策，但原研究对象是通用序贯决策，并非神经信号解码。迁移假设依赖于能够定义任务状态、状态转移与感知成本；可复用的是感知时机与动作的联合优化框架，需改造的是 EEG 观测、不确定性及信号获取成本模型。低信噪比意味着一次感知未必能获得真实状态，被试差异、通道变化及小数据下的转移估计误差也可能破坏策略可靠性。一个可证伪的小实验是在同一 EEG 序贯任务及固定数据划分下，将读取信号窗口视为有成本观测，比较 SPI、固定间隔与始终观测策略的累计任务成本和观测次数；若在匹配任务表现时不能减少总成本，则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。