从世界反馈中学习：为何模型不确定性无法作为基于模型的强化学习中的风险信号

基于摘要分析。本文研究安全的基于模型的强化学习（MBRL）控制中，模型不确定性是否能可靠表征任务风险，并以世界反馈替代模型内部代理信号。作者将 RLxF 主张具体化为三类反馈：由 minimum lidar 得到的传感器安全裕度、time-to-collision 时间信号，以及利用历史碰撞标签训练的反馈模型 gψ。 作者报告，在四种世界模型架构、MSE 跨度为 2 倍的实验范围内，MPC 规划表现经 TOST 检验被判定为统计等效（n = 200）；但摘要未说明样本单位、规划评价指标或等效界限。在所述控制实验中，基于动力学不确定性的惩罚使碰撞率从 26% 升至 34%；改用三类世界反馈后，作者报告碰撞率降至 1–14%，且无需重新训练世界模型或规划器。摘要未给出各反馈方案与具体碰撞率的对应关系，这些结果不能外推为所有 MBRL 场景的安全收益。 机制上，作者认为模型不确定性描述的是状态预测空间中的误差，而任务风险取决于约束边界，两者并不天然一致；作者报告相关系数 r < 0.15，但相关变量定义及计算协议尚未验证。gψ 以碰撞结果为监督，作者将其结构类比于 RLHF 中由结果训练的奖励模型，而非声称两者任务或有效性相同。 作者据此提出三项原则：以世界结果锚定风险、部署前验证代理信号、直接世界信号不可用时采用结果监督的反馈模型，并主张其也适用于 LLM 对齐中的 verifier-based 或 RLHF 方法；这一跨领域适用性仍需独立验证。实验环境、数据划分、碰撞标签获取方式、基线配置、消融及统计信息尚未验证。材料不涉及 EEG 或 BCI 实验，不能据此认定其具有 BCI 安全控制效果。