跳到正文

算法、任务与模态

Reinforcement Learning 最新动态

Reinforcement Learning 研究索引；按可核对的标签归档，不以热度评价质量。

328 条精选近 30 天 52 条共收录 400 条

更新

精选归档 · 第 17 页

1月1日周二第 321–328 条
  1. OpenReview · State space models76

    决策理论规划中的策略解释与模型细化

    基于摘要分析。本学位论文研究不确定性下序贯决策的策略解释与模型细化：先解释 Markov Decision Processes（MDPs）的最优策略，再将专家反馈转化为参数约束，修正 Bayesian networks 和 MDPs，使重新计算的策略符合专家意见。主要贡献是把策略推荐的解释与决策模型的迭代修正联系起来，而非提出神经信号解码方法。 策略解释需要处理随机效应、可能冲突的多个目标以及行动的长期影响。作者提出领域无关的解释模板，以及确定完整论证策略推荐所需最少模板数量的过程。在该框架中，专家拒绝某项解释被视为生成该策略的模型存在不足的信号；但这种解释拒绝是否确实对应模型缺陷，需要结合具体应用核对。 模型细化方面，专家反馈被转换为模型参数上的非凸约束。对于 Bayesian networks，作者采用 Gibbs sampling 与 stochastic hill climbing 寻找满足约束的模型；对于 MDPs，则通过划分参数空间，使用交替线性优化学习能够产生符合专家反馈之策略的参数。摘要未给出约束的具体形式、优化收敛条件或计算成本。 论文还将解释与细化方法扩展到 Factored MDPs：以状态变量表示状态空间，并用 dynamic Bayesian networks 建模转移函数，以缓解大型问题中显式状态表示的组合膨胀。作者报告在本科生选课指导、失智症患者辅助洗手及制造业诊断三个领域开展了实证评估；摘要没有提供样本规模、对照基线或定量结果，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 系统另有基于 MDP 的辅助决策层，该框架可能用于解释行动推荐，并通过专家反馈修正决策模型；它并不直接解决 EEG 的低信噪比或跨被试解码问题。可复用部分是解释模板和反馈约束机制，需改造的是状态、动作、奖励及转移模型；神经信号状态估计误差和有限交互数据可能使约束不稳定或相互冲突。一个可检验的小实验是在固定解码器的离线辅助决策任务中，比较模型细化前后的专家约束满足率与任务回报，检验反馈一致性是否以任务性能下降为代价。相关 EEG/BCI 工作尚未检索确认。

    阅读价值：值得阅读的具体机制是将策略解释、专家异议与模型参数约束连接起来，并针对 Bayesian networks 和 MDPs 分别设计约束下的参数修正方法；其解释完整性及修正效果仍需结合全文实验核对。

1月1日周日
  1. OpenReview · State space models76

    以预测定义的状态表示

    基于摘要分析。该章节讨论动力系统中如何表示状态，重点综述以短期未来的预测统计量定义状态的思路，以及其表示能力和可学习性。原研究对象是一般动力系统，尤其是模型驱动的强化学习，而非 EEG 或 BCI 专用算法。 核心机制是将历史信息压缩为关于短期未来动作与观测的预测，再利用这些预测推断更远乃至无限未来；这不同于将状态视为不可直接观测的潜变量。章节强调，同一动力系统可以采用多种状态表示，其理论与计算性质各异，并介绍系统动力学矩阵等辅助概念。作者认为，由于状态表示及模型参数通过可观测量的统计量定义，相关学习算法往往较直接，并具有有吸引力的理论性质；摘要未给出具体定理条件、学习过程或实证结果。 平台推测（待验证）：若 EEG 时序中的任务相关历史可由稳定的未来观测预测概括，这一框架可能为在线状态估计提供可检验的表示思路。可复用的是预测式状态定义，需改造的是 EEG 观测特征、预测目标与状态更新方式；强化学习场景还需明确动作和观测的关系。依赖条件包括足够的连续时序数据及可估计的预测统计量。低信噪比、跨被试差异、通道变化和小数据均可能使预测统计量不稳定，且未来信号可预测并不等于 BCI 任务信息被保留。 一个小规模检验可在固定被试与会话的连续 EEG 上，按时间段划分训练和测试数据，仅用训练段估计预测式状态，并与固定历史窗口表示比较未来观测预测及同一任务的解码表现，以分别检验预测能力和任务效用。该建议并非原文实验；相关 EEG 工作尚未检索确认。全文中的理论假设、实验协议、消融及统计信息尚未验证。

    阅读价值：该章节值得阅读之处在于梳理以可观测未来统计量定义状态的理论框架，有助于理解时序建模中状态表示的可学习性；其 EEG/BCI 适用性尚未验证。

  2. OpenReview · State space models78

    无限状态部分可观测系统中的平均奖励策略评估

    基于摘要分析。本文研究离散时间可控动力系统中给定决策策略的平均奖励估计问题：动作集与观测集有限，但状态空间可能无限。核心贡献是借助遍历理论分析策略评估何时可行，并讨论系统可学习性与预测表示能力之间的关系。 问题与机制：摘要指出，与有限状态系统不同，无限状态系统中的某些策略可能不存在期望奖励，使作为最优控制关键步骤的策略评估失效。作者以遍历理论为主要分析工具，探讨不显式构建系统模型时，如何从系统中学习潜在有用的量。这里的“无模型”不等于无假设；论文重点正是厘清使学习与平均奖励评估成立的系统条件。 理论贡献：作者报告，首先通过若干动力系统实例展示不附加假设时一般情形下的学习困难，并提出系统可学习所需的必要条件；其次讨论该条件与当时先进预测表示的关系，说明有些满足该条件的系统仍无法由这些预测表示建模；最后给出此设定下平均奖励策略评估的充分条件。摘要未提供条件的数学形式、所涉及预测表示的具体名称或估计程序，因此不能据此判断其覆盖范围、收敛性质或有限样本误差。 局限与核对重点：实验协议、消融及统计信息尚未验证；全文还需核对平均奖励与期望的精确定义、必要条件与充分条件之间的差距，以及结论对策略类别和系统动态的限制。该文的主要对象是一般部分可观测控制系统，并非 EEG 解码或 BCI 验证；摘要不足以建立具体的 EEG/BCI 迁移机制，已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究值得用于核对部分可观测、无限状态控制系统中平均奖励策略评估的适用前提，尤其是区分可学习性条件与预测表示的建模能力，但具体定理条件尚需查阅全文。

1月1日周二
  1. OpenReview · State space models76

    基于模糊模型的强化学习的一致性

    基于摘要分析。本文研究连续状态与动作控制问题中强化学习近似解的一致性，提出一种基于模型的近似 Q-iteration 算法：以模糊划分表示状态空间，并对动作空间进行离散化。核心贡献是在动力学与奖励函数连续性的假设下，证明随着近似精度提高，算法能够渐近得到最优解。 机制与理论：模糊状态划分和动作离散化共同构成对原控制问题的近似。一致性结论依赖摘要所述的连续性条件，并不等同于有限精度下的最优性保证；具体连续性条件、近似误差度量、收敛界及模型获取方式尚未验证。 实验：作者报告，实验研究表明，连续奖励函数对于近似精度提高时性能的可预测改善也很重要。摘要未提供控制任务、评价指标、对照算法或数值结果，实验协议、消融及统计信息尚未验证，因而不能据此判断有限计算预算下的性能优势。 平台推测（待验证）：若 EEG/BCI 自适应控制可表述为具有连续状态、可离散动作及平滑奖励的控制问题，该方法可能提供分析状态近似误差的理论参照，而不是直接提供 EEG 解码算法。可复用部分是模糊状态表示与 Q-iteration，需改造的是神经信号状态估计、动力学模型及奖励设计。低信噪比、跨被试变化、通道改变和小数据条件可能使状态表示与模型不可靠；分类正确与否等离散奖励也未必满足相关连续性条件。一个可检验的小实验是在固定数据划分、动力学模型和动作集合下，逐步细化模糊状态划分，对照平滑奖励与离散奖励，观察留出控制轨迹上的性能是否稳定改善；该实验只能检验迁移假设，不能替代理论条件核对。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是作者对模糊状态空间近似下 Q-iteration 一致性的理论分析，以及奖励连续性与近似精度提升之间的关系；其对 EEG/BCI 控制任务的适用性尚未验证。

1月1日周一
  1. OpenReview · Representation learning72

    强化学习中的表征迁移

    基于摘要分析。本文研究强化学习智能体采用不同内部表征时，如何迁移已学习的知识以减少目标端学习时间；核心贡献是定义 representation transfer，将其与 task transfer 区分，并提出两种新算法。 常见 task transfer 利用源任务知识促进相关但不同的目标任务学习；本文则聚焦不同内部表征之间的知识迁移。两类问题的共同目标，是相对于不使用迁移的学习过程缩短目标端学习时间。摘要未说明内部表征的具体形式、两种算法的映射机制、知识载体或训练流程，不能据此将其解释为特定的神经网络表征对齐方法。 作者报告，两种算法已在一个复杂多智能体领域中实现，实验显示不同表征之间的知识迁移具有可行性和收益；作者还报告，representation transfer 算法也可用于 task transfer，从而建立二者的实证联系。摘要未提供领域名称、学习时间指标、收益数值、对照细节或数据划分，实验协议、消融及统计信息尚未验证，尚不能判断收益幅度与适用边界。 平台推测（待验证）：其研究问题可启发采用不同 EEG 特征表示的强化学习式 BCI 自适应，但这一假设依赖可对应的状态、动作及奖励结构，不能直接等同于跨被试或跨通道迁移。可复用的是跨表征迁移的研究框架；具体映射模块仍需全文确认，并针对 EEG 的低信噪比、被试差异与小数据条件改造。一个可检验的小实验是在固定任务、动作和奖励定义下，比较两种 EEG 特征表示之间的知识迁移与目标表示从零学习，按相同交互预算评估学习曲线及负迁移风险。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其对 representation transfer 与 task transfer 的区分及二者的实证联系，但算法机制、学习时间收益与迁移适用条件仍需全文核对。

12月31日周三
  1. OpenReview · State space models73

    多智能体环境中用于移动机器人学习的基于视觉的状态空间构建

    基于摘要分析。本文研究多智能体环境中移动机器人如何从视觉观测构建适合强化学习的状态空间，提出通过观察与动作交互进行系统辨识，估计学习机器人行为与其他智能体行为之间的关系，再利用 Akaike’s Information Criterion（AIC，赤池信息准则）确定各智能体的状态向量。 核心问题是：其他智能体的策略未知，其动作会改变机器人看到的视觉信息，使观测变化难以直接归因于机器人自身运动。方法先辨识交互关系并构造状态表示，再基于估计的状态向量进行强化学习以获取最优行为。这里的“state space”指机器人强化学习中的状态空间构建，摘要并未描述现代序列建模中的 State Space Model 架构。 作者报告将方法应用于机器人足球场景中的实体智能体，使其学习应对滚动的球和另一移动智能体，并展示计算机仿真及真实实验。摘要未提供定量结果、对照方法或状态估计误差，因此不能据此判断性能提升幅度。系统辨识的具体形式、AIC 候选模型、视觉特征、强化学习算法，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于具有动作反馈和环境观测的闭环 BCI，该机制可能帮助区分用户控制引起的环境变化与外部对象运动，但它并非直接针对 EEG 解码。可复用的是交互辨识与状态选择思路；视觉观测模型需改造为神经信号、控制输出及环境反馈的联合表示。此假设依赖可对齐的时序交互数据，EEG 低信噪比、反馈延迟、跨被试差异和小数据可能使辨识不稳定。一个可检验的小实验是在固定 EEG 解码器与控制策略下，比较加入辨识状态和仅用当前观测的闭环任务表现，并分别设置静态与移动干扰对象；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其通过交互式系统辨识与 Akaike’s Information Criterion 构造多智能体强化学习状态空间的机制，但摘要不足以验证状态估计质量、学习效果及其对 EEG/BCI 的适用性。

1月1日周三
  1. OpenReview · State space models82

    一般状态空间平均奖励 Markov 决策过程的策略迭代算法

    基于摘要分析。本文研究一般状态空间、无界成本的 Markov 决策过程中的平均成本最优控制，核心贡献是建立策略迭代所生成策略的正则性、相对价值函数序列的收敛性质，以及在进一步条件下获得最优平均成本策略的理论保证。原标题采用 average reward，摘要则以 average cost 表述问题，具体符号约定尚未验证。 核心机制与条件：作者报告，只要存在一个初始 c-regular 策略，并满足状态空间上的不可约性条件，策略迭代便生成一系列 c-regular 策略，其中 c 为所考虑的成本函数。在这些条件下，算法生成的相对价值函数序列具有下界且“近乎”递减，作者据此得到算法收敛结论。c-regular 的严格定义、“近乎”递减的数学含义与收敛方式需查阅全文，不能仅凭摘要将其等同于逐点单调下降。 最优性与应用：算法收敛不应直接等同于得到最优策略。作者报告，在进一步条件下，算法能够求得最优性方程的解，从而得到最优平均成本策略；摘要未列明这些附加条件。作者还报告，这些结果提供了无界成本问题中最优策略存在性的判据，并恢复标准 linear-quadratic-Gaussian 问题的已知结果。在多类别排队网络控制中，作者指出网络优化与更简单的流体网络模型最优控制存在密切联系，具体对应关系尚未验证。 证据范围：这是最优控制理论研究，不是神经信号建模或 BCI 验证。摘要未提供 EEG/BCI 任务或足以支持具体迁移方案的机制对应，因此不据此提出 BCI 复现实验；已有 EEG 相关工作尚未检索确认。阅读全文时应重点核对正则性与不可约性假设、策略评价和改进步骤、最优性所需的附加条件及流体模型对应关系。实验协议、消融及统计信息尚未验证。

    阅读价值：值得阅读的具体原因是其给出一般状态空间、无界成本条件下策略迭代的收敛与最优性条件，并区分算法收敛和获得最优策略所需的假设；这些理论尚不能直接作为 BCI 控制有效性的证据。

12月31日周二
  1. OpenReview · State space models73

    用于机器人学习的基于动作的传感器空间分类

    基于摘要分析。本文研究视觉移动机器人学习中状态空间与动作空间相互依赖的问题，提出依据动作可达性构造状态空间的方法，而非预先固定状态划分。其贡献是将传感输入聚类与动作序列抽象结合，形成用于规划的状态转移图。 核心机制是：若一组输入向量对应的情形均可通过重复执行同一种动作原语，到达目标状态或已经构造出的状态，则将这些输入向量归为一个状态簇，不以动作序列长度作为区分依据；同时，将该重复动作序列定义为一个动作。方法依赖大量机器人交互经验，以超椭球对输入向量进行聚类，从而把传感器空间划分为按动作组织的状态转移图，并据此获得最优动作序列。这里的状态空间指机器人学习中的状态表示，摘要并未将其描述为现代序列建模中的 State Space Models。 作者报告将方法用于尝试把球射入球门的足球机器人，并展示了仿真与真实机器人实验。摘要未提供成功率、样本量、对照方法或最优性的评价条件，因此不能量化其收益；实验协议、消融及统计信息尚未验证。复现需进一步核对视觉输入表示、动作原语、超椭球拟合与归簇规则、经验采集方式及转移图规划过程。 平台推测（待验证）：该机制可能为闭环 BCI 中依据控制后果构造状态抽象提供参考，但这只是迁移假设，不是 EEG 解码效果的证据。可复用的是可达性分组与动作序列抽象，需改造的是神经信号特征、反馈状态和动作完成判据，并依赖带动作及结果记录的交互数据。低信噪比、跨被试差异、通道变化和小数据可能使状态簇及可达性估计不稳定。一个可检验的小实验是在固定被试与通道的闭环光标任务中，用同一批训练交互数据比较动作可达性聚类与仅按 EEG 特征聚类，并在独立测试交互中评价目标到达率和控制步数。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以动作可达性定义状态、联合构造状态与动作抽象的机制，但足球机器人验证的具体效果及其对 EEG/BCI 的适用性尚未验证。