跳到正文

算法、任务与模态

Reinforcement Learning 最新动态

Reinforcement Learning 研究索引；按可核对的标签归档，不以热度评价质量。

251 条精选近 30 天 40 条共收录 306 条

更新

精选归档 · 第 13 页

1月1日周二第 241–251 条
  1. OpenReview · State space models74

    利用地标映射状态空间以实现通用目标到达

    基于摘要分析。该研究面向大规模、稀疏奖励的马尔可夫决策过程（MDP），解决 Universal Value Function Approximator（UVFA）难以准确估计远距离目标价值、进而导致策略失败的问题。核心贡献是将已访问状态空间组织为动态地标地图，用高层地图支持远距离路由，用低层价值网络生成精细的局部决策。 UVFA 预测各状态—目标对之间的累积奖励。论文提出层级化环境表示，并从历史经验中通过 farthest point sampling 选择地标状态，以增强状态空间覆盖。作者报告，相比简单均匀采样，该选择方式改善了探索；在若干具有挑战性的任务中，该方法使智能体在训练早期即可到达远距离目标，并取得优于标准 RL 算法的表现。摘要未给出任务名称、具体基线、指标或数值，因此不能判断收益大小及适用范围。 需要核对的技术细节包括地标间连接与路由规则、地图更新机制、局部价值网络的训练目标，以及高低层决策的衔接方式；实验协议、消融及统计信息尚未验证。复现还需取得环境配置、经验采样流程和训练实现。这里的状态空间指强化学习环境的状态集合，不能据来源栏目将其视为序列建模中的 State Space Model。 平台推测（待验证）：假设 BCI 闭环控制任务具有可重复访问、距离有意义且局部可达性相对稳定的状态表示，地标路由与局部控制的分工可能对应稀疏反馈下的长程目标控制瓶颈。可复用的是地标选择及层级规划思路；需改造的是神经信号到控制状态的表示与距离定义。低信噪比、跨被试差异、通道变化和小数据可能使地标距离偏离实际可达性，导致地图失效。一个可检验的小实验是在固定解码器的 BCI 控制仿真中，保持训练预算和低层控制器一致，对比地标规划、均匀地标采样与不使用高层地图的方案，评估远距离目标到达率及噪声敏感性。已有 EEG 相关工作尚未检索确认，该假设不代表已证实的 BCI 效果。

    阅读价值：值得阅读其以地标地图承担远距离路由、以局部价值网络细化决策的层级分工，但摘要中的性能结论及其向 BCI 控制任务迁移的有效性仍需验证。

9月17日周一
  1. OpenReview · State space models74

    通过扩展感知运动空间实现发展式强化学习

    基于摘要分析。该研究面向连续感知运动空间中的无模型深度强化学习，提出受儿童发展启发的迁移学习方式：让智能体在学习策略的过程中逐步扩大可用的感知运动空间，而非一开始就在完整空间中搜索。 核心机制是在基于神经网络的 actor-critic 中加入 developmental layers，依据 Intrinsic Motivation 启发式逐步开放部分感知运动维度。为缓解空间扩展过程中的灾难性遗忘，作者借鉴 Elastic Weight Constraint 调节神经控制器的学习。摘要未给出维度开放规则、约束的数学形式及训练调度，不能据此确定具体网络结构或损失函数。 作者报告，在 DDPG 和 NFAC 两种算法以及 Half-Cheetah、Humanoid 两个高维环境基准上，先在参数空间子集中寻找次优解、再转向完整空间搜索，有助于启动学习，并以更少的 episodes 获得更好的性能。摘要未提供具体回报、训练预算、随机种子、对照设置或统计结果；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在对应对象是具有连续控制输出和在线反馈的 BCI 策略学习，而非一般 EEG 分类。假设逐步开放控制自由度能降低早期探索难度，可考虑复用维度开放调度与遗忘约束，但需将模拟环境中的感知运动维度映射到实际解码输出及反馈信号。低信噪比、跨被试差异、小数据和非平稳反馈可能使 Intrinsic Motivation 难以区分有效探索与噪声，也可能使早期受限策略阻碍后续学习。一个可检验的小实验是在固定 EEG 解码输入、奖励和交互预算的离线模拟控制任务中，对比逐步开放与一次性开放控制维度，并分别移除遗忘约束，评估任务回报、收敛速度和旧能力保持情况。该实验仅检验迁移假设，不代表已证实的 BCI 效果；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其以逐步开放感知运动维度来引导策略学习的机制，尤其是维度开放规则与遗忘约束各自的贡献；摘要中的性能改善尚需结合完整实验协议验证。

1月1日周一
  1. OpenReview · Representation learning72

    面向控制的状态表征学习：综述

    基于摘要分析。本文综述面向机器人与控制任务的 State Representation Learning（SRL，状态表征学习），关注如何从数据中学习低维、随时间演化且受智能体动作影响的状态表征，并梳理相关方法、实现、应用及评估思路，而非提出一个新的 BCI 算法。 核心机制是使表征捕获智能体动作引起的环境变化。作者指出，低维状态有助于缓解维度灾难，便于人类理解与使用，并可能提高强化学习等策略学习算法的性能与速度；摘要未提供这些效益的量化结果。综述覆盖涉及环境交互的 SRL 方法及其在模拟或真实机器人控制任务中的应用，重点比较通用学习目标如何被不同算法利用，并讨论表征评估方法及未来研究方向。 摘要未列出具体算法、损失函数、数据集、对照基线或评估指标，因此无法据此判断各类学习目标的优势及适用条件。方法覆盖范围、实验协议、消融及统计信息尚未验证；复现具体方法仍需查阅全文与对应原始研究。 平台推测（待验证）：其潜在对应场景是具有时间序列、动作记录和环境反馈的闭环 EEG/BCI 控制，而非一般离线 EEG 分类。假设动作相关的低维状态可以帮助控制器组织连续交互信息，可借鉴表征学习目标与评估框架，但需改造 EEG 编码和信号—动作—反馈的时序对齐方式，并区分用户神经状态与外部环境状态。低信噪比、跨被试差异、通道变化及小数据规模可能使表征偏向伪迹或外部反馈，而非有用的神经信息。一个可证伪的小实验是在同一闭环任务、固定数据划分和相同控制器下，对比常规 EEG 特征与加入动作及反馈信息学习的低维表征，并通过打乱动作—反馈对应关系检验收益是否依赖真实交互结构。已有 EEG 相关工作尚未检索确认。

    阅读价值：该综述值得用于梳理交互式控制中的状态表征学习目标与评估思路，但其对 EEG/BCI 的适用性尚未验证。

  2. OpenReview · Representation learning72

    面向控制的状态表征学习：概述

    基于摘要分析。本文综述面向机器人与控制任务的状态表征学习（State Representation Learning，SRL），重点讨论如何从与环境的交互中学习低维、随时间变化且受智能体动作影响的状态特征，以及如何评价这些表征。 与一般表征学习相比，本文关注的 SRL 强调动作与环境变化的联系：表征应捕捉智能体动作所引起的环境变化，并服务于后续控制或策略学习。作者指出，低维表征有助于缓解维度灾难、便于人类理解和使用，并可能提升强化学习等策略学习算法的性能与速度；这些是摘要陈述的方法动机，不能视为本文已量化验证的效果。 综述范围包括需要环境交互的 SRL 方法、实现及其在仿真或真实机器人控制任务中的应用。其分析重点是不同算法如何利用通用学习目标，并讨论表征评估方法及当前与未来研究方向。摘要未列出具体算法、目标函数、数据集、对照基线或定量结果，相关评估协议及统计信息尚未验证。 平台推测（待验证）：若 BCI 场景具有同步记录的神经信号、控制动作与环境反馈序列，动作相关的低维动态表征可能为闭环状态建模提供参考。可借鉴的是表征与控制目标之间的联系及评估框架，而非直接将机器人状态等同于 EEG 中的意图；观测编码、时间对齐和动作—反馈关系均需改造。低信噪比、反馈延迟、跨被试差异及有限交互数据可能使表征偏向外部反馈而非用户意图。一个可检验的小实验是在相同被试内划分和同一控制任务下，比较动作相关表征与仅重构神经信号的表征对下游控制的帮助，并核对收益是否依赖反馈信息。以上仅为机制层面的迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：该综述值得用于梳理交互式控制中的状态表征学习目标与评估思路，但摘要不足以确认具体方法对 EEG 或 BCI 的适用性。

  3. OpenReview · State space models74

    采用 Variational State Tabulation 的高效基于模型的深度强化学习

    基于摘要分析。本文研究深度强化学习的样本效率问题，提出 Variational State Tabulation（VaST），将高维环境状态空间映射为抽象的表格式模型，再通过规划更新状态—动作价值。主要研究对象是强化学习智能体及其环境，摘要举例包括视觉输入与 3D navigation，并非 EEG 解码或 BCI 实验。 核心机制是把高维状态表示与高效表格规划结合：VaST 构建抽象环境模型，随后使用带 small backups 的 prioritized sweeping 更新状态—动作价值。该路径有望利用已获得的环境经验进行规划，而不是仅依靠新增交互。摘要未说明变分目标、抽象状态的构造与容量、模型学习流程及探索策略，这些实现细节尚未验证。 作者报告，VaST 能在 3D navigation 等任务中快速学习奖励最大化，并能高效适应奖励或转移概率的突然变化。摘要未提供具体任务配置、交互样本量、对照基线或数值指标，因此无法量化效率提升，也无法判断不同变化条件下的适应幅度；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 闭环控制可表示为具有动作、奖励及近似稳定转移结构的序列决策问题，VaST 的抽象状态建模与规划机制可能用于研究交互样本有限时的策略学习，而非直接替代 EEG 分类器。可复用部分是抽象状态后的表格规划；需改造部分是 EEG 观测编码与状态抽象，并核对其能否保留决策所需信息。低信噪比、跨被试差异和通道变化可能导致不同潜在状态被错误合并，小数据也可能使转移估计不可靠。 一个可检验的小实验是假设固定 EEG 编码器与闭环任务，在相同交互预算及独立评估条件下，比较加入 VaST 式抽象模型规划与不使用该规划的策略，观察累计奖励及奖励规则突变后的恢复过程；这仅是迁移假设，不是本文已验证结果。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其将高维观测抽象为表格式环境模型、再以 prioritized sweeping 进行规划的机制，以核对样本效率与环境变化适应能力的来源；其对 EEG/BCI 的适用性尚未验证。

1月1日周三
  1. OpenReview · State space models74

    面向离散与连续状态 MDP 的连续实时动态规划

    基于摘要分析。本文研究不确定性自动规划中的离散与连续状态 Markov Decision Process（DC-MDP），提出 Continuous Real Time Dynamic Programming（CRTDP），将 Real-Time Dynamic Programming（RTDP）与 eXtended Algebraic Decision Diagrams（XADDs）结合，以针对已知初始状态的部分求解降低符号动态规划的计算成本。 核心机制：摘要所述的标准符号动态规划使用 XADD 表示状态价值函数，并计算覆盖完整状态空间的策略；其时间与空间开销限制了可处理问题的规模和深度。CRTDP 借鉴离散状态 RTDP 的初始状态导向求解方式，结合启发式搜索与符号泛化，按区域更新价值函数，而非以完整状态空间策略为求解目标。该方法的贡献在于混合状态规划的搜索与价值函数表示，不是神经信号解码或状态空间神经网络。 作者报告，利用初始状态信息可显著减少价值函数中的区域数量，使 CRTDP 相比标准符号动态规划在求解 DC-MDP 时更节省时间与空间。摘要未提供测试任务、数值结果、转移模型约束或终止条件；实验协议、消融及统计信息尚未验证，不能据此判断优势适用的规模和精度范围。 平台推测（待验证）：若 BCI 闭环任务能被明确建模为同时包含离散任务阶段与连续状态变量的 MDP，该机制可能用于控制策略规划，而非直接处理 EEG。可复用部分是初始状态导向搜索及区域化价值更新；需改造部分是神经信号到状态的估计、转移模型与奖励定义。其依赖可供符号运算的模型结构，低信噪比、跨被试变化及小数据条件下的状态或转移估计误差可能使规划收益失效。一个可检验的小实验是在固定混合状态模拟任务、转移模型和策略质量评价条件下，对比 CRTDP 与标准符号动态规划的运行时间、内存及策略回报，再加入状态估计噪声检验稳健性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其将初始状态驱动的启发式搜索与 XADD 符号表示结合、减少混合状态 MDP 求解开销的机制，但具体性能证据及其对 BCI 闭环决策的适用性尚未验证。

1月1日周日
  1. OpenReview · State space models78

    无限状态部分可观测系统中的平均奖励策略评估

    基于摘要分析。本文研究离散时间可控动力系统中给定决策策略的平均奖励估计问题：动作集与观测集有限，但状态空间可能无限。核心贡献是借助遍历理论分析策略评估何时可行，并讨论系统可学习性与预测表示能力之间的关系。 问题与机制：摘要指出，与有限状态系统不同，无限状态系统中的某些策略可能不存在期望奖励，使作为最优控制关键步骤的策略评估失效。作者以遍历理论为主要分析工具，探讨不显式构建系统模型时，如何从系统中学习潜在有用的量。这里的“无模型”不等于无假设；论文重点正是厘清使学习与平均奖励评估成立的系统条件。 理论贡献：作者报告，首先通过若干动力系统实例展示不附加假设时一般情形下的学习困难，并提出系统可学习所需的必要条件；其次讨论该条件与当时先进预测表示的关系，说明有些满足该条件的系统仍无法由这些预测表示建模；最后给出此设定下平均奖励策略评估的充分条件。摘要未提供条件的数学形式、所涉及预测表示的具体名称或估计程序，因此不能据此判断其覆盖范围、收敛性质或有限样本误差。 局限与核对重点：实验协议、消融及统计信息尚未验证；全文还需核对平均奖励与期望的精确定义、必要条件与充分条件之间的差距，以及结论对策略类别和系统动态的限制。该文的主要对象是一般部分可观测控制系统，并非 EEG 解码或 BCI 验证；摘要不足以建立具体的 EEG/BCI 迁移机制，已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究值得用于核对部分可观测、无限状态控制系统中平均奖励策略评估的适用前提，尤其是区分可学习性条件与预测表示的建模能力，但具体定理条件尚需查阅全文。

1月1日周一
  1. OpenReview · Representation learning72

    强化学习中的表征迁移

    基于摘要分析。本文研究强化学习智能体采用不同内部表征时，如何迁移已学习的知识以减少目标端学习时间；核心贡献是定义 representation transfer，将其与 task transfer 区分，并提出两种新算法。 常见 task transfer 利用源任务知识促进相关但不同的目标任务学习；本文则聚焦不同内部表征之间的知识迁移。两类问题的共同目标，是相对于不使用迁移的学习过程缩短目标端学习时间。摘要未说明内部表征的具体形式、两种算法的映射机制、知识载体或训练流程，不能据此将其解释为特定的神经网络表征对齐方法。 作者报告，两种算法已在一个复杂多智能体领域中实现，实验显示不同表征之间的知识迁移具有可行性和收益；作者还报告，representation transfer 算法也可用于 task transfer，从而建立二者的实证联系。摘要未提供领域名称、学习时间指标、收益数值、对照细节或数据划分，实验协议、消融及统计信息尚未验证，尚不能判断收益幅度与适用边界。 平台推测（待验证）：其研究问题可启发采用不同 EEG 特征表示的强化学习式 BCI 自适应，但这一假设依赖可对应的状态、动作及奖励结构，不能直接等同于跨被试或跨通道迁移。可复用的是跨表征迁移的研究框架；具体映射模块仍需全文确认，并针对 EEG 的低信噪比、被试差异与小数据条件改造。一个可检验的小实验是在固定任务、动作和奖励定义下，比较两种 EEG 特征表示之间的知识迁移与目标表示从零学习，按相同交互预算评估学习曲线及负迁移风险。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其对 representation transfer 与 task transfer 的区分及二者的实证联系，但算法机制、学习时间收益与迁移适用条件仍需全文核对。

12月31日周三
  1. OpenReview · State space models73

    多智能体环境中用于移动机器人学习的基于视觉的状态空间构建

    基于摘要分析。本文研究多智能体环境中移动机器人如何从视觉观测构建适合强化学习的状态空间，提出通过观察与动作交互进行系统辨识，估计学习机器人行为与其他智能体行为之间的关系，再利用 Akaike’s Information Criterion（AIC，赤池信息准则）确定各智能体的状态向量。 核心问题是：其他智能体的策略未知，其动作会改变机器人看到的视觉信息，使观测变化难以直接归因于机器人自身运动。方法先辨识交互关系并构造状态表示，再基于估计的状态向量进行强化学习以获取最优行为。这里的“state space”指机器人强化学习中的状态空间构建，摘要并未描述现代序列建模中的 State Space Model 架构。 作者报告将方法应用于机器人足球场景中的实体智能体，使其学习应对滚动的球和另一移动智能体，并展示计算机仿真及真实实验。摘要未提供定量结果、对照方法或状态估计误差，因此不能据此判断性能提升幅度。系统辨识的具体形式、AIC 候选模型、视觉特征、强化学习算法，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于具有动作反馈和环境观测的闭环 BCI，该机制可能帮助区分用户控制引起的环境变化与外部对象运动，但它并非直接针对 EEG 解码。可复用的是交互辨识与状态选择思路；视觉观测模型需改造为神经信号、控制输出及环境反馈的联合表示。此假设依赖可对齐的时序交互数据，EEG 低信噪比、反馈延迟、跨被试差异和小数据可能使辨识不稳定。一个可检验的小实验是在固定 EEG 解码器与控制策略下，比较加入辨识状态和仅用当前观测的闭环任务表现，并分别设置静态与移动干扰对象；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其通过交互式系统辨识与 Akaike’s Information Criterion 构造多智能体强化学习状态空间的机制，但摘要不足以验证状态估计质量、学习效果及其对 EEG/BCI 的适用性。

1月1日周三
  1. OpenReview · State space models82

    一般状态空间平均奖励 Markov 决策过程的策略迭代算法

    基于摘要分析。本文研究一般状态空间、无界成本的 Markov 决策过程中的平均成本最优控制，核心贡献是建立策略迭代所生成策略的正则性、相对价值函数序列的收敛性质，以及在进一步条件下获得最优平均成本策略的理论保证。原标题采用 average reward，摘要则以 average cost 表述问题，具体符号约定尚未验证。 核心机制与条件：作者报告，只要存在一个初始 c-regular 策略，并满足状态空间上的不可约性条件，策略迭代便生成一系列 c-regular 策略，其中 c 为所考虑的成本函数。在这些条件下，算法生成的相对价值函数序列具有下界且“近乎”递减，作者据此得到算法收敛结论。c-regular 的严格定义、“近乎”递减的数学含义与收敛方式需查阅全文，不能仅凭摘要将其等同于逐点单调下降。 最优性与应用：算法收敛不应直接等同于得到最优策略。作者报告，在进一步条件下，算法能够求得最优性方程的解，从而得到最优平均成本策略；摘要未列明这些附加条件。作者还报告，这些结果提供了无界成本问题中最优策略存在性的判据，并恢复标准 linear-quadratic-Gaussian 问题的已知结果。在多类别排队网络控制中，作者指出网络优化与更简单的流体网络模型最优控制存在密切联系，具体对应关系尚未验证。 证据范围：这是最优控制理论研究，不是神经信号建模或 BCI 验证。摘要未提供 EEG/BCI 任务或足以支持具体迁移方案的机制对应，因此不据此提出 BCI 复现实验；已有 EEG 相关工作尚未检索确认。阅读全文时应重点核对正则性与不可约性假设、策略评价和改进步骤、最优性所需的附加条件及流体模型对应关系。实验协议、消融及统计信息尚未验证。

    阅读价值：值得阅读的具体原因是其给出一般状态空间、无界成本条件下策略迭代的收敛与最优性条件，并区分算法收敛和获得最优策略所需的假设；这些理论尚不能直接作为 BCI 控制有效性的证据。

12月31日周二
  1. OpenReview · State space models73

    用于机器人学习的基于动作的传感器空间分类

    基于摘要分析。本文研究视觉移动机器人学习中状态空间与动作空间相互依赖的问题，提出依据动作可达性构造状态空间的方法，而非预先固定状态划分。其贡献是将传感输入聚类与动作序列抽象结合，形成用于规划的状态转移图。 核心机制是：若一组输入向量对应的情形均可通过重复执行同一种动作原语，到达目标状态或已经构造出的状态，则将这些输入向量归为一个状态簇，不以动作序列长度作为区分依据；同时，将该重复动作序列定义为一个动作。方法依赖大量机器人交互经验，以超椭球对输入向量进行聚类，从而把传感器空间划分为按动作组织的状态转移图，并据此获得最优动作序列。这里的状态空间指机器人学习中的状态表示，摘要并未将其描述为现代序列建模中的 State Space Models。 作者报告将方法用于尝试把球射入球门的足球机器人，并展示了仿真与真实机器人实验。摘要未提供成功率、样本量、对照方法或最优性的评价条件，因此不能量化其收益；实验协议、消融及统计信息尚未验证。复现需进一步核对视觉输入表示、动作原语、超椭球拟合与归簇规则、经验采集方式及转移图规划过程。 平台推测（待验证）：该机制可能为闭环 BCI 中依据控制后果构造状态抽象提供参考，但这只是迁移假设，不是 EEG 解码效果的证据。可复用的是可达性分组与动作序列抽象，需改造的是神经信号特征、反馈状态和动作完成判据，并依赖带动作及结果记录的交互数据。低信噪比、跨被试差异、通道变化和小数据可能使状态簇及可达性估计不稳定。一个可检验的小实验是在固定被试与通道的闭环光标任务中，用同一批训练交互数据比较动作可达性聚类与仅按 EEG 特征聚类，并在独立测试交互中评价目标到达率和控制步数。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以动作可达性定义状态、联合构造状态与动作抽象的机制，但足球机器人验证的具体效果及其对 EEG/BCI 的适用性尚未验证。