通过假设空间批量切割实现鲁棒奖励对齐

基于摘要分析。本文研究强化学习与最优控制中的奖励设计：利用人类对轨迹对的排序偏好学习奖励，同时降低未知错误偏好对对齐过程的影响。作者提出 hypothesis space batched cutting，以具有几何解释的批量切割逐步缩小奖励假设空间。 核心机制是按候选假设之间的分歧查询人类偏好，再通过投票函数汇总每批偏好，确定对假设空间的切割。针对错误偏好，方法在每批采用保守切割，避免错误反馈导致过度排除奖励假设。作者声称，该机制无需显式识别错误偏好，即可提供可证明的鲁棒性，并使人类查询复杂度有界；具体保证依赖的噪声假设、奖励表示、投票规则及切割边界尚未验证。 作者在模型预测控制场景下的多种任务中评估该方法。作者报告，在无错误偏好的设置下，性能与所比较的先进方法相当或更优；在错误人类偏好占比较高的设置下，优于已有方法。摘要未提供任务名称、错误比例、性能指标、查询次数或基线名称，因此无法判断收益幅度，也不能比较不同评估协议下的表现。 复现时需核对奖励假设空间的表示与初始化、分歧查询策略、保守切割的计算开销，以及错误偏好的生成方式和理论允许范围。实验协议、消融及统计信息尚未验证。本文的主要研究对象是偏好驱动的奖励对齐与控制，并非 EEG 解码或 BCI；摘要没有提供神经信号实验，其在 BCI 中的有效性尚未验证，相关 EEG 工作也尚未检索确认。