跳到正文

算法、任务与模态

Reinforcement Learning 最新动态

Reinforcement Learning 研究索引；按可核对的标签归档，不以热度评价质量。

1,105 条精选近 30 天 87 条共收录 1,335 条

更新

精选归档 · 第 56 页

1月1日周二第 1101–1105 条
  1. OpenReview · Representation learning90

    多臂老虎机问题的有限时间分析

    基于摘要分析。本文研究多臂老虎机中的探索与利用权衡，核心贡献是以简单、高效的策略，在奖励分布具有有界支撑的条件下，实现对所有时间均成立的对数级遗憾保证，而不只讨论渐近表现。 研究对象是序贯决策：策略既要探索潜在收益较高的动作，也要尽可能选择当前经验上最优的动作。遗憾衡量未始终遵循全局最优策略所造成的损失。摘要回顾了 Lai 和 Robbins 给出的对数级遗憾下界及后续渐近最优策略；作者报告，最优的对数级增长率也可由简单、高效的策略以有限时间保证实现。该结论的适用背景是摘要所述的有界支撑奖励分布，不能直接扩展为任意奖励或非平稳环境下的保证。 摘要未提供具体策略名称、动作选择公式、遗憾界常数及完整概率假设，因此尚不能据此重建算法或核验定理边界；实验协议、消融及统计信息尚未验证。复现理论结果需要取得正文，核对奖励生成条件、初始化方式及界对动作数量和收益差距的依赖。 平台推测（待验证）：其探索与利用机制可为 BCI 在线任务或反馈策略选择提供决策层参考，但并非 EEG 表征学习或解码方法。迁移假设是候选策略能够构成有限动作集，并获得可比较的有界奖励；可复用的是动作选择机制，需改造的是奖励定义与在线反馈接口。EEG 低信噪比、被试差异、通道变化及小样本反馈可能造成奖励估计不稳，疲劳与学习效应还可能破坏分布假设。可先在固定被试、固定通道的离线反馈回放中，比较探索策略与固定策略的累计收益，并单独检验引入会话漂移后的变化；这种回放不能直接验证真实闭环收益。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其如何将多臂老虎机的渐近对数遗憾保证推进到有限时间分析，但将该保证用于 BCI 在线决策前仍须核对奖励分布等理论假设。

12月31日周三
  1. OpenReview · State space models73

    多智能体环境中用于移动机器人学习的基于视觉的状态空间构建

    基于摘要分析。本文研究多智能体环境中移动机器人如何从视觉观测构建适合强化学习的状态空间，提出通过观察与动作交互进行系统辨识，估计学习机器人行为与其他智能体行为之间的关系，再利用 Akaike’s Information Criterion（AIC，赤池信息准则）确定各智能体的状态向量。 核心问题是：其他智能体的策略未知，其动作会改变机器人看到的视觉信息，使观测变化难以直接归因于机器人自身运动。方法先辨识交互关系并构造状态表示，再基于估计的状态向量进行强化学习以获取最优行为。这里的“state space”指机器人强化学习中的状态空间构建，摘要并未描述现代序列建模中的 State Space Model 架构。 作者报告将方法应用于机器人足球场景中的实体智能体，使其学习应对滚动的球和另一移动智能体，并展示计算机仿真及真实实验。摘要未提供定量结果、对照方法或状态估计误差，因此不能据此判断性能提升幅度。系统辨识的具体形式、AIC 候选模型、视觉特征、强化学习算法，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于具有动作反馈和环境观测的闭环 BCI，该机制可能帮助区分用户控制引起的环境变化与外部对象运动，但它并非直接针对 EEG 解码。可复用的是交互辨识与状态选择思路；视觉观测模型需改造为神经信号、控制输出及环境反馈的联合表示。此假设依赖可对齐的时序交互数据，EEG 低信噪比、反馈延迟、跨被试差异和小数据可能使辨识不稳定。一个可检验的小实验是在固定 EEG 解码器与控制策略下，比较加入辨识状态和仅用当前观测的闭环任务表现，并分别设置静态与移动干扰对象；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其通过交互式系统辨识与 Akaike’s Information Criterion 构造多智能体强化学习状态空间的机制，但摘要不足以验证状态估计质量、学习效果及其对 EEG/BCI 的适用性。

1月1日周三
  1. OpenReview · State space models82

    一般状态空间平均奖励 Markov 决策过程的策略迭代算法

    基于摘要分析。本文研究一般状态空间、无界成本的 Markov 决策过程中的平均成本最优控制，核心贡献是建立策略迭代所生成策略的正则性、相对价值函数序列的收敛性质，以及在进一步条件下获得最优平均成本策略的理论保证。原标题采用 average reward，摘要则以 average cost 表述问题，具体符号约定尚未验证。 核心机制与条件：作者报告，只要存在一个初始 c-regular 策略，并满足状态空间上的不可约性条件，策略迭代便生成一系列 c-regular 策略，其中 c 为所考虑的成本函数。在这些条件下，算法生成的相对价值函数序列具有下界且“近乎”递减，作者据此得到算法收敛结论。c-regular 的严格定义、“近乎”递减的数学含义与收敛方式需查阅全文，不能仅凭摘要将其等同于逐点单调下降。 最优性与应用：算法收敛不应直接等同于得到最优策略。作者报告，在进一步条件下，算法能够求得最优性方程的解，从而得到最优平均成本策略；摘要未列明这些附加条件。作者还报告，这些结果提供了无界成本问题中最优策略存在性的判据，并恢复标准 linear-quadratic-Gaussian 问题的已知结果。在多类别排队网络控制中，作者指出网络优化与更简单的流体网络模型最优控制存在密切联系，具体对应关系尚未验证。 证据范围：这是最优控制理论研究，不是神经信号建模或 BCI 验证。摘要未提供 EEG/BCI 任务或足以支持具体迁移方案的机制对应，因此不据此提出 BCI 复现实验；已有 EEG 相关工作尚未检索确认。阅读全文时应重点核对正则性与不可约性假设、策略评价和改进步骤、最优性所需的附加条件及流体模型对应关系。实验协议、消融及统计信息尚未验证。

    阅读价值：值得阅读的具体原因是其给出一般状态空间、无界成本条件下策略迭代的收敛与最优性条件，并区分算法收敛和获得最优策略所需的假设；这些理论尚不能直接作为 BCI 控制有效性的证据。

12月31日周二
  1. OpenReview · State space models75

    基于增量状态空间分割的真实机器人学习：以更短学习时间获得合理性能

    基于摘要分析。本文研究真实机器人强化学习中的状态空间构建与学习耗时问题，提出根据机器人交互经验逐步分割传感器空间，使机器人在学习过程中形成面向任务的状态表示，而非完全依赖预先确定的状态划分。 其核心机制是在状态空间中构建局部模型，利用对传感器输出的函数近似减少学习时间，并通过强化信号引导目标行为形成。这里的 state space 指机器人强化学习的状态表示与划分，并非材料已证明采用了现代序列建模中的 State Space Models；不能因来源栏目名称将其归为此类模型。 作者在足球机器人将球射入球门的任务上开展计算机仿真与真实机器人实验。作者报告，真实机器人通过增量状态空间分割，在少于一小时的训练内学会射门行为。摘要未给出成功率、训练交互次数、对照方法或重复试验信息，因此这一时间结果仅适用于所述机器人射门实验，不能据此量化相对固定状态划分的提升。分割准则、局部模型形式、强化学习更新方式，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将该思路用于以 EEG 解码输出为状态的闭环控制，其可借鉴之处是按交互经验与奖励自适应调整状态粒度，而非直接复用机器人传感器模型。该假设依赖连续状态观测与可获得的任务奖励；EEG 低信噪比、跨被试差异和有限交互数据可能使划分不稳定。一个可证伪的小实验是在同一被试、相同初始解码器与交互预算下，对比固定状态划分和增量划分，检验达到预设控制成功率所需的交互次数及最终成功率。此为迁移假设，不是本文已验证的 BCI 结果；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对的是如何以传感器输出的局部函数近似与强化信号驱动状态空间增量划分，以及该机制能否在保持任务表现的同时降低真实机器人训练成本；摘要尚不足以验证其相对基线优势。

  2. OpenReview · State space models73

    用于机器人学习的基于动作的传感器空间分类

    基于摘要分析。本文研究视觉移动机器人学习中状态空间与动作空间相互依赖的问题，提出依据动作可达性构造状态空间的方法，而非预先固定状态划分。其贡献是将传感输入聚类与动作序列抽象结合，形成用于规划的状态转移图。 核心机制是：若一组输入向量对应的情形均可通过重复执行同一种动作原语，到达目标状态或已经构造出的状态，则将这些输入向量归为一个状态簇，不以动作序列长度作为区分依据；同时，将该重复动作序列定义为一个动作。方法依赖大量机器人交互经验，以超椭球对输入向量进行聚类，从而把传感器空间划分为按动作组织的状态转移图，并据此获得最优动作序列。这里的状态空间指机器人学习中的状态表示，摘要并未将其描述为现代序列建模中的 State Space Models。 作者报告将方法用于尝试把球射入球门的足球机器人，并展示了仿真与真实机器人实验。摘要未提供成功率、样本量、对照方法或最优性的评价条件，因此不能量化其收益；实验协议、消融及统计信息尚未验证。复现需进一步核对视觉输入表示、动作原语、超椭球拟合与归簇规则、经验采集方式及转移图规划过程。 平台推测（待验证）：该机制可能为闭环 BCI 中依据控制后果构造状态抽象提供参考，但这只是迁移假设，不是 EEG 解码效果的证据。可复用的是可达性分组与动作序列抽象，需改造的是神经信号特征、反馈状态和动作完成判据，并依赖带动作及结果记录的交互数据。低信噪比、跨被试差异、通道变化和小数据可能使状态簇及可达性估计不稳定。一个可检验的小实验是在固定被试与通道的闭环光标任务中，用同一批训练交互数据比较动作可达性聚类与仅按 EEG 特征聚类，并在独立测试交互中评价目标到达率和控制步数。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以动作可达性定义状态、联合构造状态与动作抽象的机制，但足球机器人验证的具体效果及其对 EEG/BCI 的适用性尚未验证。