跳到正文

算法、任务与模态

Reinforcement Learning 最新动态

Reinforcement Learning 研究索引；按可核对的标签归档，不以热度评价质量。

984 条精选近 30 天 88 条共收录 1,190 条

更新

精选归档 · 第 49 页

1月1日周一第 961–980 条
  1. OpenReview · State space models74

    近似动态规划：结合区域近似与局部状态跟随近似

    基于摘要分析。本文研究控制仿射确定性系统的无限时域最优调节问题，通过组合局部状态跟随（StaF）核近似与区域模型式强化学习（R-MBRL）价值函数近似，实现在线求解。核心贡献是以依赖状态的凸组合连接两类近似，使价值函数表示随系统状态所在区域发生过渡。 机制上，R-MBRL 面向较大紧集内的价值函数近似，而 StaF 核仅近似当前状态附近、随状态在紧集内移动的局部邻域。当状态进入包含原点的邻域时，组合表示从 StaF 近似过渡到 R-MBRL 近似。该设计将沿状态轨迹进行局部近似与原点邻域的区域近似结合起来；具体权重构造、模型信息需求、在线更新规则及计算成本尚未验证。 作者报告，通过基于 Lyapunov 的分析，建立系统状态相对原点的半全局一致最终有界（SGUUB）性质；这一表述不应等同于状态精确渐近收敛至原点。作者还报告在二、三、六及十状态动力系统上开展仿真，以展示方法的可扩展性与性能。摘要未提供具体性能数值、对照结果或计算开销，实验协议、消融及统计信息尚未验证。 研究对象是确定性动力系统的最优控制，而非 EEG 解码或 BCI 验证。其对实际闭环 BCI 的意义仍取决于系统建模、噪声与非平稳性等条件，现有材料不足以提出具体迁移结论；相关 EEG/BCI 工作尚未检索确认。复现需进一步核对系统方程、核函数与区域近似的定义、凸组合权重、学习参数，以及稳定性结论所依赖的假设。

    阅读价值：值得核对其局部随状态移动与区域价值函数近似的组合机制，以及 Lyapunov 稳定性保证的适用条件；摘要中的验证限于动力系统仿真，尚不能据此判断 BCI 适用性。

  2. OpenReview · Representation learning80

    利用后继表示进行基于计数的探索

    基于摘要分析。本文研究强化学习（RL）中如何利用状态表示构造探索奖励，核心贡献是将 successor representation（SR，后继表示）学习过程中的范数用作奖励加成，并通过 substochastic successor representation（SSR，次随机后继表示）解释其与访问计数的关系。 SR 原本依据后继状态的相似性定义状态间的泛化关系。本文关注其尚在学习时的瞬态性质，而非仅将收敛后的表示用于状态表征。作者指出，SSR 隐式记录了各状态或特征被观察的次数，据此构造可在表格型设置下获得理论支撑的探索算法，并进一步扩展到需要函数逼近的深度 RL。具体范数、更新规则、奖励加成形式及理论成立条件尚未验证。 作者报告，所提出的算法表现可比肩部分具有理论样本效率保证的方法；在低样本复杂度条件下，其深度 RL 扩展在 Atari 2600 游戏上达到当时的 state-of-the-art 表现。摘要未提供具体游戏、交互预算、基线、评估指标或数值，因此这些结果不能直接外推至其他采样预算或任务。实验协议、消融及统计信息尚未验证。 该研究的主要对象是 RL 探索，并非 EEG 表征或 BCI 解码。其机制依赖可更新的状态或特征表示，以及智能体与环境交互的奖励反馈；静态 EEG 分类并不直接满足这些条件。尚未检索确认已有 EEG 相关工作，本文对 BCI 的适用性仍待评估。复现首先需核对 SSR 的计数关系、理论假设及 Atari 的低样本评估设置。

    阅读价值：值得关注的是作者将 successor representation 学习过程中的范数与隐式访问计数联系起来，为表格型探索奖励提供理论依据并扩展至深度 RL；其理论条件与低样本 Atari 评估协议仍需全文核对。

1月1日周日
  1. OpenReview · Representation learning78

    利用稀疏编码学习强化学习中的稀疏表示

    基于摘要分析。本文研究强化学习中稀疏编码表示对策略评估的作用，提出监督稀疏编码目标，并分析该非凸目标的优化性质；主要研究对象是强化学习表示学习，而非 EEG 或 BCI。 核心机制与理论：作者将策略评估的监督信息纳入稀疏编码目标，而不是直接使用无监督稀疏编码。作者报告，尽管该目标非凸，其所有局部极小值均为全局极小值，因此可采用简单优化策略。摘要未给出目标函数、监督信号的构造、稀疏约束形式及定理假设，尚不能将这一性质推广至其他稀疏编码目标。 实验与对照：作者报告，监督目标相较于更直接的无监督稀疏编码至关重要，所学表示优于多种固定稀疏表示 tile-coding。摘要未提供具体任务、样本规模、评价指标或数值；实验协议、消融及统计信息尚未验证，当前不能判断优势的幅度和适用范围。 平台推测（待验证）：可检验的迁移假设是，任务监督的稀疏表示可能比仅依据输入重构学习的稀疏表示更适合 EEG 解码。但原方法依赖策略评估的监督结构，迁移时需核对并改造目标函数，而非直接替换输入。可考虑复用稀疏表示框架，将监督部分调整为 EEG 任务标签；原理论保证是否仍成立需另行分析。低信噪比、通道差异、被试间分布变化及小样本监督均可能导致表示不稳定或过拟合。一个小规模检验是在固定 Cross-subject 划分、相同预处理和表示维度下，对比监督与无监督稀疏编码，并使用相同下游分类器评价 Balanced Accuracy；这只是迁移假设的检验方案，不是原文结果。相关 EEG 工作尚未检索确认。

    阅读价值：值得关注其面向策略评估的监督稀疏编码目标及局部极小值均为全局极小值的理论结论，但该结论的适用条件和对 EEG 表征学习的价值尚待核验。

  2. OpenReview · State space models72

    基于机器人先验的无监督状态表示学习：鲁棒性基准

    基于摘要分析。该研究面向机器人 RGB 图像中的无监督状态表示学习，以作为损失函数的 robotic priors 约束神经网络，学习与机器人手部三维位置相关的低维表示，并提出鲁棒性评估及一个新的先验。 方法与评估：作者沿用 Jonschkowski et al. 2015 的机器人先验思路，将其扩展至更高维、内容更丰富的图像。研究提出利用状态空间中的最近邻定量评价表示质量，并通过增大图像尺寸、加入干扰物和 domain randomization 考察潜力与局限。这些设置旨在涉及向真实机器人迁移时的重要因素，但摘要不足以确认实际完成了真实机器人迁移实验。新先验的数学形式、网络结构和训练细节尚未验证。 结果与边界：作者报告，在所用的挑战性数据集中，该方法能够提取机械臂三维位置这类高层表示，并组织成紧凑、连贯的状态空间。摘要未提供数据集名称、样本规模、划分方式、对照基线或具体指标数值；实验协议、消融及统计信息尚未验证。辅助 RL、跨任务知识迁移及提高原始数据学习效率是摘要讨论的潜在用途，不能据此认定这些下游收益已经得到验证。 平台推测（待验证）：可迁移的假设是，以领域先验约束低维表示，并通过近邻结构及受控扰动评价表示稳定性。对 EEG 而言，可借鉴评估思路，但图像编码器和机器人先验需重新设计；机器人位置状态不能直接等同于运动想象状态。低信噪比、跨被试差异、通道变化及小数据可能使近邻结构主要反映伪迹或个体差异。一个可证伪的小实验是，在固定被试内划分的 EEG 数据上，对比普通无监督编码器与加入明确 EEG 先验的编码器，使用仅参与评估的任务标签检查近邻一致性，并测试通道扰动后的稳定性。该实验是平台提出的假设性验证，不是原论文结果；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其以状态空间近邻评价和图像干扰条件检验低维表示质量的思路；具体评价定义、新先验的作用及其对 EEG 的适用性尚未验证。

  3. OpenReview · State space models75

    面向无限时域近似最优跟踪的基于模型的强化学习

    基于摘要分析。本文研究漂移动力学未知的控制仿射连续时间非线性系统，提出无限时域最优跟踪问题的近似在线自适应求解方法；核心是结合基于模型的强化学习与并行学习（concurrent learning）系统辨识，在未探索状态区域评估 Bellman 误差，以模拟经验并放宽持续激励条件。 机制上，系统辨识器为模型驱动的经验生成提供支持，使学习不完全依赖系统实际访问的状态。作者报告，通过基于 Lyapunov 的稳定性分析，建立了对期望轨迹的跟踪保证，以及所构造策略向最优策略邻域收敛的结论；这里的邻域收敛不能等同于精确收敛至最优策略。作者还报告仿真展示了该方法的有效性，但摘要未给出仿真对象、对照方法、误差指标或定量结果。 复现时需核对系统辨识与策略更新的具体形式、模拟状态的选取规则、持续激励条件被放宽后的替代假设，以及稳定性结论的适用范围。实验协议、消融及统计信息尚未验证。 本文主要对象是非线性系统的最优跟踪控制，并非 EEG 解码或 BCI 验证。摘要没有提供神经信号观测到控制状态的具体对应关系，因此不据此推断 BCI 有效性；相关 EEG 工作尚未检索确认。

    阅读价值：值得核对的是作者如何利用并行学习系统辨识器生成模拟经验、放宽持续激励条件，以及其轨迹跟踪与策略邻域收敛保证所依赖的假设。

1月1日周五
  1. OpenReview · Representation learning75

    多任务强化学习中的共享表征学习

    基于摘要分析。本文研究同一环境中智能体需要完成多个任务时，如何利用任务间的共同结构，避免逐任务独立学习的重复开销。核心贡献是在状态—动作价值空间显式建模并学习共享表征，改造 Value-Iteration 与 Policy-Iteration，结合多任务监督学习联合学习各任务的价值函数。 方法依赖任务处于不变环境、且价值函数之间存在可利用的共享结构。其共享对象是价值空间及跨任务的状态空间抽象，而非摘要中已明确的某种神经网络架构。共享表征的具体形式、优化目标、采样方式与收敛条件尚未验证。 作者报告，所提出的模型及训练过程在低样本条件下仍能推断出良好的价值函数，并在分析中指出，跨任务联合学习状态抽象可获得更稳健、可迁移且具有更好泛化潜力的表征。摘要未提供任务或环境名称、样本规模、对照基线及量化结果；实验协议、消融及统计信息尚未验证，不能据此判断优势幅度或适用边界。 平台推测（待验证）：若 BCI 闭环控制中的多个任务可表示为共享环境动力学、但目标不同的强化学习问题，则可考察复用共享价值表征与多任务更新机制；这不等同于已验证的 EEG 解码方法。迁移时需要重新定义神经信号状态、动作和奖励，并处理低信噪比、跨被试与跨会话漂移，以及通道差异和小数据下的负迁移风险。一个可证伪的小实验是在固定被试、会话和通道配置下，比较多个控制目标的联合学习与逐任务独立学习，在相同交互预算下评估控制回报及新目标迁移表现。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其在状态—动作价值空间显式学习跨任务共享结构、并将其纳入 Value-Iteration 与 Policy-Iteration 的机制；作者报告的小样本优势仍需结合全文实验协议核对，尚不能视为 EEG/BCI 有效性的证据。

  2. OpenReview · State space models77

    用于近似最优调节的基于模型的强化学习

    基于摘要分析。本文研究确定性系统的在线近似最优调节问题，提出基于 concurrent learning（CL，并发学习）的 model-based reinforcement learning（基于模型的强化学习）实现，在类似持续激励（PE）的秩条件下开展在线学习与控制。核心贡献是借助系统模型在所选状态空间点计算 Bellman error，并结合参数辨识处理模型参数的不确定性。 机制上，方法不只依赖系统实际轨迹上的误差信息，而是利用模型在多个所需状态点评估 Bellman error。论文考虑参数化系统模型，并构造 CL 参数辨识器；这一设计仍有类似 PE 的秩条件要求，不能理解为完全取消激励或数据覆盖要求。具体模型形式、状态点选取方式、策略表示和更新规则尚未验证。 作者报告，通过 Lyapunov 分析建立了系统状态调节至原点邻域的一致最终有界性，以及所学策略收敛至最优策略邻域的性质。这里的结论是邻域意义下的有界与收敛，而非精确到达原点或精确恢复最优策略。作者还报告了用于展示控制器性能的仿真，但摘要未给出仿真系统、对照基线或定量指标；实验协议、消融及统计信息尚未验证。 该研究的主要对象是确定性系统控制，并非 EEG 解码或 BCI 验证。其方法依赖可用于状态空间误差评估的系统模型；现有材料不足以建立与 EEG/BCI 的具体机制对应，因此不据此推断神经信号任务上的有效性。

    阅读价值：值得关注的是其利用系统模型在选定状态点评估 Bellman error、以 concurrent learning 缓解在线最优调节对持续激励的依赖，但秩条件的适用范围与参数不确定性处理效果仍需核对全文。

1月1日周四
  1. OpenReview · State space models77

    用于无限时域近似最优跟踪的基于模型的强化学习

    基于摘要分析。本文研究漂移动力学未知的控制仿射连续时间非线性系统，提出无限时域最优轨迹跟踪问题的近似在线自适应解法。核心贡献是通过基于模型的强化学习放宽持续激励条件，并为轨迹跟踪与策略收敛提供稳定性分析。 机制上，方法使用基于 concurrent learning（并发学习）的系统辨识器，通过在尚未探索的状态空间区域评估 Bellman error 来模拟经验，使学习不完全依赖实际轨迹所提供的激励。摘要未给出辨识器结构、策略表示、优化目标的具体形式或状态空间采样方式，这些实现细节尚未验证。 作者报告，基于 Lyapunov 的稳定性分析确立了期望轨迹的跟踪性质，以及所构造策略向最优策略邻域的收敛；这不应解读为策略精确收敛到最优解。作者报告仿真结果展示了方法的有效性，但摘要未提供仿真系统、对照方法、性能指标或数值结果，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 闭环控制对象可近似为控制仿射连续时间系统，并能获得足够可靠的状态观测和动力学辨识数据，该机制可能用于缓解在线探索受限的问题，而非直接作为 EEG 解码算法。可复用的是系统辨识与模拟经验评估思路；需改造的是神经信号到控制状态的映射及控制对象模型。低信噪比、跨被试差异、通道变化和小数据可能使辨识误差扩大，降低模拟经验的可信度。一个可检验的小实验是在满足上述系统假设的仿真闭环中固定真实交互预算，比较加入与不加入模拟经验时的跟踪误差，并逐步增加观测噪声与模型失配，检查收益是否消失。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其利用系统辨识在未探索状态空间中评估 Bellman error、放宽持续激励条件的机制，以及轨迹跟踪和策略近似收敛的稳定性论证；其对 BCI 闭环控制的适用性尚未验证。

  2. OpenReview · Representation learning77

    强化学习领域中的在线迁移学习

    基于摘要分析。本文研究强化学习智能体之间的在线知识迁移，提出 online transfer 框架来刻画智能体间的交互，并将现有强化学习迁移方法及 agents-teaching-agents 方法纳入这一框架。其主要贡献是对其中一种教学方法给出收敛性与渐近性能分析，而非提出 EEG 或 BCI 解码算法。 在理论层面，作者报告：在有限预算的表格表示设置下，证明了 Q-learning 与 Sarsa 的收敛性；在线性函数逼近设置下，建立了二者的收敛性；并论证教学不会损害渐近性能。这些结论的适用性依赖正文中的教学规则、预算定义及收敛假设，不能扩展解释为任意教师、任意函数逼近器或有限训练阶段都不会出现负迁移。 作者报告所有理论结果均得到实证验证，但摘要未提供实验环境、任务关系、教师与学生的配置、对照基线或数值指标。实验协议、消融及统计信息尚未验证，尚不能据此判断教学带来的样本效率收益、有限预算下的实际表现或对教师质量的敏感性。 该工作的明确研究对象是强化学习智能体间的教学与迁移。摘要没有提供神经信号数据、BCI 任务或对应的交互建模证据，因此不据此推断其已具备 EEG/BCI 有效性；已有 EEG 相关工作尚未检索确认。进一步阅读应优先核对理论假设与教学机制，再评估其是否适用于具体的闭环交互任务。

    阅读价值：值得阅读之处在于以 online transfer 统一描述强化学习智能体间的教学交互，并分析教学条件下 Q-learning 与 Sarsa 的收敛及渐近性能边界；具体假设与证明适用范围仍需全文核对。

1月1日周三
  1. OpenReview · State space models74

    面向离散与连续状态 MDP 的连续实时动态规划

    基于摘要分析。本文研究不确定性自动规划中的离散与连续状态 Markov Decision Process（DC-MDP），提出 Continuous Real Time Dynamic Programming（CRTDP），将 Real-Time Dynamic Programming（RTDP）与 eXtended Algebraic Decision Diagrams（XADDs）结合，以针对已知初始状态的部分求解降低符号动态规划的计算成本。 核心机制：摘要所述的标准符号动态规划使用 XADD 表示状态价值函数，并计算覆盖完整状态空间的策略；其时间与空间开销限制了可处理问题的规模和深度。CRTDP 借鉴离散状态 RTDP 的初始状态导向求解方式，结合启发式搜索与符号泛化，按区域更新价值函数，而非以完整状态空间策略为求解目标。该方法的贡献在于混合状态规划的搜索与价值函数表示，不是神经信号解码或状态空间神经网络。 作者报告，利用初始状态信息可显著减少价值函数中的区域数量，使 CRTDP 相比标准符号动态规划在求解 DC-MDP 时更节省时间与空间。摘要未提供测试任务、数值结果、转移模型约束或终止条件；实验协议、消融及统计信息尚未验证，不能据此判断优势适用的规模和精度范围。 平台推测（待验证）：若 BCI 闭环任务能被明确建模为同时包含离散任务阶段与连续状态变量的 MDP，该机制可能用于控制策略规划，而非直接处理 EEG。可复用部分是初始状态导向搜索及区域化价值更新；需改造部分是神经信号到状态的估计、转移模型与奖励定义。其依赖可供符号运算的模型结构，低信噪比、跨被试变化及小数据条件下的状态或转移估计误差可能使规划收益失效。一个可检验的小实验是在固定混合状态模拟任务、转移模型和策略质量评价条件下，对比 CRTDP 与标准符号动态规划的运行时间、内存及策略回报，再加入状态估计噪声检验稳健性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其将初始状态驱动的启发式搜索与 XADD 符号表示结合、减少混合状态 MDP 求解开销的机制，但具体性能证据及其对 BCI 闭环决策的适用性尚未验证。

  2. OpenReview · State space models77

    面向无限时域近似最优跟踪的基于模型的强化学习

    基于摘要分析。本文研究漂移动力学未知的控制仿射连续时间非线性系统，提出无限时域最优轨迹跟踪问题的近似在线自适应解。核心贡献是借助基于模型的强化学习放宽持续激励条件，而非针对 EEG 解码或 BCI 任务提出算法。 方法采用基于 concurrent learning 的系统辨识器，通过在尚未探索的状态空间区域评估 Bellman 误差来模拟经验。其机制是利用辨识模型扩展可用于策略学习的信息，不仅依赖系统实际经历的轨迹。作者报告，通过基于 Lyapunov 的稳定性分析建立了期望轨迹跟踪以及所提出策略收敛至最优策略邻域的保证；这不等同于策略精确收敛至最优解。摘要未提供具体代价函数、策略表示、模型误差假设、仿真实验或量化结果，理论条件、实验协议及消融信息尚未验证。 平台推测（待验证）：若 BCI 驱动的辅助设备能够近似建模为控制仿射连续时间系统，该机制可能用于下游闭环轨迹控制，缓解在线探索受限、难以保持充分激励的问题，而不能直接替代 EEG 特征提取或意图解码。可考虑复用系统辨识与 Bellman 误差评估思路，但需适配离散且带噪的意图输入、观测延迟、状态估计和安全约束。低信噪比、跨被试变化及少量在线数据可能导致模型偏差，使未探索区域中的模拟经验不可靠。一个可检验的小实验是在具有已知动力学的辅助设备仿真中加入意图输入噪声和延迟，在相同采样预算与探索约束下比较使用和不使用模拟经验的轨迹误差及稳定性。已有 EEG/BCI 相关工作尚未检索确认。

    阅读价值：值得阅读之处在于利用 concurrent learning 系统辨识器在未探索状态区域评估 Bellman 误差，以放宽持续激励条件，并通过 Lyapunov 分析给出轨迹跟踪与策略邻域收敛保证；其对 BCI 闭环控制的适用性尚未验证。

12月31日周二
  1. OpenReview · State space models71

    使用一种新表示模型进行行为模式识别

    基于摘要分析。本文研究如何根据智能体与环境交互时的序贯决策行为识别其行为模式，核心贡献是将逆强化学习（IRL）学得的奖励函数作为行为表示，用于后续聚类或分类，而非直接依赖观测到的状态—动作特征统计。 方法将智能体面对的问题建模为 Markov decision process（MDP），并以该 MDP 上的前向规划解释观测行为；随后通过 IRL 估计奖励函数，以奖励向量构建行为识别模型。这一机制试图从行为轨迹中提取潜在目标或偏好，但摘要未说明具体 IRL 求解方法、奖励参数化方式及分类或聚类算法。 作者报告，在导航任务 GridWorld 和最优停止任务 secretary problem 中，IRL 得到的奖励向量可作为行为模式识别的有效表示。作者报告，与若干已有 IRL 算法及直接使用状态—动作空间特征统计的方法相比，该方法可能更适合识别任务；摘要未给出量化指标、样本规模或数据划分，因此不能判断收益幅度与统计可靠性。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该思路与 BCI 的可能联系在于交互式任务中的目标或策略识别，而非直接解码 EEG。假设任务具有可定义的状态、动作与可观测轨迹，可尝试复用“IRL 奖励表示—分类”的流程；EEG 观测到任务状态的映射、奖励估计及个体差异处理则需另行设计。低信噪比、跨被试差异和少量轨迹可能使状态估计不稳，并使不同奖励解释相似行为。一个可证伪的小实验是在固定 BCI 交互任务和相同轨迹划分下，对比奖励向量与直接状态—动作统计特征的意图分类表现，并检验状态估计噪声增加时优势是否仍存在。相关 EEG 工作尚未检索确认。

    阅读价值：值得关注的是以 IRL 学得的奖励向量替代状态—动作统计特征进行行为识别的表示思路，但其优势幅度、适用条件及向 EEG/BCI 迁移的有效性尚未验证。

1月1日周二
  1. OpenReview · State space models77

    具有非马尔可夫奖励的决策过程的基于状态的 anytime 求解方法

    基于摘要分析。本文研究具有非马尔可夫奖励的决策过程（NMRDP），即奖励依赖历史而不只依赖当前状态的决策问题，贡献是提出奖励表示及向等价马尔可夫决策过程（MDP）的转换方法，使其适配基于状态的 anytime 算法。 核心机制是扩展未来线性时序逻辑（FLTL）以表达奖励，并通过转换将模型检测嵌入求解过程。基于状态的 anytime 算法仅显式构建和探索部分状态空间，在计算时间与策略质量之间进行权衡。相较于一般的 NMRDP 到 MDP 转换，本文关注的是如何让奖励表示与按需求解的状态探索相配合，而非单纯得到一个等价 MDP。 作者报告，该转换得到的 MDP 达到不超出 anytime 框架时可实现的最小规模，并因此能在截止时间前得到更好的策略。摘要未提供具体任务、对照方法、运行时间或策略质量指标；最小性结论的适用条件、实验协议、消融及统计信息尚未验证。这是决策过程与时序逻辑方法研究，并非现代序列建模语境中的 State Space Models，也未报告 EEG 或 BCI 实验。 平台推测（待验证）：若 BCI 交互控制的奖励确实取决于多步事件顺序，该方法可能用于表达历史依赖的反馈规则，并在有限计算预算内求解策略；这不等同于改善 EEG 解码。迁移依赖可用的状态、动作、转移模型及明确的时序奖励规则，可复用 FLTL 奖励表示与转换机制，但需另行处理神经信号观测的不确定性及用户差异。低信噪比和跨被试漂移可能使状态模型失准，历史信息扩展也可能增加求解负担。一个可检验的小实验是在固定转移模型和计算预算的模拟 BCI 交互任务中，比较该转换与直接历史状态扩展的已探索状态数及策略回报；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其如何将历史依赖奖励转化为适配 anytime 求解的 MDP，尤其是状态空间规模与限时策略质量之间的关系；摘要中的最小规模及策略优势结论仍需正文核验。

  2. OpenReview · State space models76

    决策理论规划中的策略解释与模型细化

    基于摘要分析。本学位论文研究不确定性下序贯决策的策略解释与模型细化：先解释 Markov Decision Processes（MDPs）的最优策略，再将专家反馈转化为参数约束，修正 Bayesian networks 和 MDPs，使重新计算的策略符合专家意见。主要贡献是把策略推荐的解释与决策模型的迭代修正联系起来，而非提出神经信号解码方法。 策略解释需要处理随机效应、可能冲突的多个目标以及行动的长期影响。作者提出领域无关的解释模板，以及确定完整论证策略推荐所需最少模板数量的过程。在该框架中，专家拒绝某项解释被视为生成该策略的模型存在不足的信号；但这种解释拒绝是否确实对应模型缺陷，需要结合具体应用核对。 模型细化方面，专家反馈被转换为模型参数上的非凸约束。对于 Bayesian networks，作者采用 Gibbs sampling 与 stochastic hill climbing 寻找满足约束的模型；对于 MDPs，则通过划分参数空间，使用交替线性优化学习能够产生符合专家反馈之策略的参数。摘要未给出约束的具体形式、优化收敛条件或计算成本。 论文还将解释与细化方法扩展到 Factored MDPs：以状态变量表示状态空间，并用 dynamic Bayesian networks 建模转移函数，以缓解大型问题中显式状态表示的组合膨胀。作者报告在本科生选课指导、失智症患者辅助洗手及制造业诊断三个领域开展了实证评估；摘要没有提供样本规模、对照基线或定量结果，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 系统另有基于 MDP 的辅助决策层，该框架可能用于解释行动推荐，并通过专家反馈修正决策模型；它并不直接解决 EEG 的低信噪比或跨被试解码问题。可复用部分是解释模板和反馈约束机制，需改造的是状态、动作、奖励及转移模型；神经信号状态估计误差和有限交互数据可能使约束不稳定或相互冲突。一个可检验的小实验是在固定解码器的离线辅助决策任务中，比较模型细化前后的专家约束满足率与任务回报，检验反馈一致性是否以任务性能下降为代价。相关 EEG/BCI 工作尚未检索确认。

    阅读价值：值得阅读的具体机制是将策略解释、专家异议与模型参数约束连接起来，并针对 Bayesian networks 和 MDPs 分别设计约束下的参数修正方法；其解释完整性及修正效果仍需结合全文实验核对。

1月1日周日
  1. OpenReview · State space models76

    以预测定义的状态表示

    基于摘要分析。该章节讨论动力系统中如何表示状态，重点综述以短期未来的预测统计量定义状态的思路，以及其表示能力和可学习性。原研究对象是一般动力系统，尤其是模型驱动的强化学习，而非 EEG 或 BCI 专用算法。 核心机制是将历史信息压缩为关于短期未来动作与观测的预测，再利用这些预测推断更远乃至无限未来；这不同于将状态视为不可直接观测的潜变量。章节强调，同一动力系统可以采用多种状态表示，其理论与计算性质各异，并介绍系统动力学矩阵等辅助概念。作者认为，由于状态表示及模型参数通过可观测量的统计量定义，相关学习算法往往较直接，并具有有吸引力的理论性质；摘要未给出具体定理条件、学习过程或实证结果。 平台推测（待验证）：若 EEG 时序中的任务相关历史可由稳定的未来观测预测概括，这一框架可能为在线状态估计提供可检验的表示思路。可复用的是预测式状态定义，需改造的是 EEG 观测特征、预测目标与状态更新方式；强化学习场景还需明确动作和观测的关系。依赖条件包括足够的连续时序数据及可估计的预测统计量。低信噪比、跨被试差异、通道变化和小数据均可能使预测统计量不稳定，且未来信号可预测并不等于 BCI 任务信息被保留。 一个小规模检验可在固定被试与会话的连续 EEG 上，按时间段划分训练和测试数据，仅用训练段估计预测式状态，并与固定历史窗口表示比较未来观测预测及同一任务的解码表现，以分别检验预测能力和任务效用。该建议并非原文实验；相关 EEG 工作尚未检索确认。全文中的理论假设、实验协议、消融及统计信息尚未验证。

    阅读价值：该章节值得阅读之处在于梳理以可观测未来统计量定义状态的理论框架，有助于理解时序建模中状态表示的可学习性；其 EEG/BCI 适用性尚未验证。

  2. OpenReview · State space models78

    无限状态部分可观测系统中的平均奖励策略评估

    基于摘要分析。本文研究离散时间可控动力系统中给定决策策略的平均奖励估计问题：动作集与观测集有限，但状态空间可能无限。核心贡献是借助遍历理论分析策略评估何时可行，并讨论系统可学习性与预测表示能力之间的关系。 问题与机制：摘要指出，与有限状态系统不同，无限状态系统中的某些策略可能不存在期望奖励，使作为最优控制关键步骤的策略评估失效。作者以遍历理论为主要分析工具，探讨不显式构建系统模型时，如何从系统中学习潜在有用的量。这里的“无模型”不等于无假设；论文重点正是厘清使学习与平均奖励评估成立的系统条件。 理论贡献：作者报告，首先通过若干动力系统实例展示不附加假设时一般情形下的学习困难，并提出系统可学习所需的必要条件；其次讨论该条件与当时先进预测表示的关系，说明有些满足该条件的系统仍无法由这些预测表示建模；最后给出此设定下平均奖励策略评估的充分条件。摘要未提供条件的数学形式、所涉及预测表示的具体名称或估计程序，因此不能据此判断其覆盖范围、收敛性质或有限样本误差。 局限与核对重点：实验协议、消融及统计信息尚未验证；全文还需核对平均奖励与期望的精确定义、必要条件与充分条件之间的差距，以及结论对策略类别和系统动态的限制。该文的主要对象是一般部分可观测控制系统，并非 EEG 解码或 BCI 验证；摘要不足以建立具体的 EEG/BCI 迁移机制，已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究值得用于核对部分可观测、无限状态控制系统中平均奖励策略评估的适用前提，尤其是区分可学习性条件与预测表示的建模能力，但具体定理条件尚需查阅全文。

1月1日周五
  1. OpenReview · State space models80

    预测状态时序差分学习

    基于摘要分析。本文研究高维或部分可观测环境中的强化学习价值函数近似，提出 Predictive State Temporal Difference（PSTD）learning，将线性时序差分学习与子空间辨识（SSID）结合，以缓解大量候选特征各自仅具有有限价值预测能力的问题。 核心机制是先学习线性压缩算子，将高维特征投影到较小的特征集合，并尽可能保留预测信息；随后利用 Bellman 递归估计价值函数。其方法连接点在于：SSID 侧重提取保留状态信息的特征，强化学习则依赖这些特征进行价值估计。摘要未给出预测信息的具体定义、压缩目标、估计流程或训练所需数据条件，这些内容尚未验证。 作者报告证明了 PSTD 的统计一致性，开展了展示算法性质的若干实验，并在一个困难的最优停止问题上展示其潜力。摘要未提供一致性成立的假设、实验数据、对照方法、指标与数值，因此不能据此判断性能优势或适用范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 驱动的序贯决策任务具有可利用的历史观测、动作及奖励记录，可以假设预测信息压缩有助于构建价值估计所需的低维表示。可复用部分是线性压缩与 Bellman 估计的衔接；需改造部分包括 EEG 历史特征、预测目标及奖励定义。这并非作者已验证的 BCI 结果。低信噪比、跨被试分布变化、通道差异与小样本均可能使压缩偏向无关信息。一个可证伪的小实验是在固定被试内训练与测试划分及相同特征、奖励条件下，对比 PSTD、未压缩的线性时序差分学习和 PCA 压缩后学习，检查价值估计误差及任务回报是否改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是 PSTD 将保留预测信息的线性特征压缩与 Bellman 价值估计连接起来，为高维、部分可观测条件下的强化学习提供了可核对的方法机制，但其对 EEG/BCI 的适用性尚未验证。

  2. OpenReview · Representation learning75

    通过采纳建议进行迁移学习

    基于摘要分析。本文研究如何将相关源任务中的经验迁移到新任务，以加快强化学习；核心方法是将源任务经验归纳为规则，再把规则作为目标任务学习器可采纳的建议，而非直接迁移模型参数。 机制上，源任务中的强化学习器分析自身经验，通过归纳逻辑编程（inductive logic programming）学习描述某个动作在何种条件下成功的规则。目标任务使用 advice-taking 算法利用这些规则，摘要指出该算法允许建议不完全正确。源任务与目标任务之间的对应关系由人工映射提供，映射还可包含对任务差异的建议，因此人工提供的对齐信息是理解迁移成本和适用范围的重要条件。 作者报告，在 RoboCup 模拟足球领域的三个任务上，该方法能够显著加快强化学习。摘要未提供具体加速幅度、对照基线、交互预算或统计结果；实验协议、消融及统计信息尚未验证，规则不完美时的容忍范围及人工映射的贡献也需结合全文核对。 平台推测（待验证）：若 EEG 驱动的交互系统具有明确的状态—动作—反馈结构，并能构造跨被试或跨会话的语义映射，可假设这种规则建议机制有助于复用交互策略，但这不等同于直接改善 EEG 解码。可复用部分是规则归纳与建议采纳框架，需改造的是 EEG 状态表示、成功反馈及任务映射；低信噪比、通道变化和小样本可能使规则条件不稳定。一个可检验的小实验是在固定 EEG 状态表示和交互预算下，比较无迁移、正确映射规则及扰动映射规则的目标任务学习曲线，以检验规则收益及其对映射错误的敏感性。相关 EEG 工作尚未检索确认。

    阅读价值：值得关注其将源任务经验转成可解释规则、再由目标任务容忍不完美建议的迁移机制，但效果依赖人工任务映射，具体收益与适用边界尚需核对全文。

1月1日周二
  1. OpenReview · State space models76

    基于模糊模型的强化学习的一致性

    基于摘要分析。本文研究连续状态与动作控制问题中强化学习近似解的一致性，提出一种基于模型的近似 Q-iteration 算法：以模糊划分表示状态空间，并对动作空间进行离散化。核心贡献是在动力学与奖励函数连续性的假设下，证明随着近似精度提高，算法能够渐近得到最优解。 机制与理论：模糊状态划分和动作离散化共同构成对原控制问题的近似。一致性结论依赖摘要所述的连续性条件，并不等同于有限精度下的最优性保证；具体连续性条件、近似误差度量、收敛界及模型获取方式尚未验证。 实验：作者报告，实验研究表明，连续奖励函数对于近似精度提高时性能的可预测改善也很重要。摘要未提供控制任务、评价指标、对照算法或数值结果，实验协议、消融及统计信息尚未验证，因而不能据此判断有限计算预算下的性能优势。 平台推测（待验证）：若 EEG/BCI 自适应控制可表述为具有连续状态、可离散动作及平滑奖励的控制问题，该方法可能提供分析状态近似误差的理论参照，而不是直接提供 EEG 解码算法。可复用部分是模糊状态表示与 Q-iteration，需改造的是神经信号状态估计、动力学模型及奖励设计。低信噪比、跨被试变化、通道改变和小数据条件可能使状态表示与模型不可靠；分类正确与否等离散奖励也未必满足相关连续性条件。一个可检验的小实验是在固定数据划分、动力学模型和动作集合下，逐步细化模糊状态划分，对照平滑奖励与离散奖励，观察留出控制轨迹上的性能是否稳定改善；该实验只能检验迁移假设，不能替代理论条件核对。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是作者对模糊状态空间近似下 Q-iteration 一致性的理论分析，以及奖励连续性与近似精度提升之间的关系；其对 EEG/BCI 控制任务的适用性尚未验证。

1月1日周一
  1. OpenReview · Representation learning72

    强化学习中的表征迁移

    基于摘要分析。本文研究强化学习智能体采用不同内部表征时，如何迁移已学习的知识以减少目标端学习时间；核心贡献是定义 representation transfer，将其与 task transfer 区分，并提出两种新算法。 常见 task transfer 利用源任务知识促进相关但不同的目标任务学习；本文则聚焦不同内部表征之间的知识迁移。两类问题的共同目标，是相对于不使用迁移的学习过程缩短目标端学习时间。摘要未说明内部表征的具体形式、两种算法的映射机制、知识载体或训练流程，不能据此将其解释为特定的神经网络表征对齐方法。 作者报告，两种算法已在一个复杂多智能体领域中实现，实验显示不同表征之间的知识迁移具有可行性和收益；作者还报告，representation transfer 算法也可用于 task transfer，从而建立二者的实证联系。摘要未提供领域名称、学习时间指标、收益数值、对照细节或数据划分，实验协议、消融及统计信息尚未验证，尚不能判断收益幅度与适用边界。 平台推测（待验证）：其研究问题可启发采用不同 EEG 特征表示的强化学习式 BCI 自适应，但这一假设依赖可对应的状态、动作及奖励结构，不能直接等同于跨被试或跨通道迁移。可复用的是跨表征迁移的研究框架；具体映射模块仍需全文确认，并针对 EEG 的低信噪比、被试差异与小数据条件改造。一个可检验的小实验是在固定任务、动作和奖励定义下，比较两种 EEG 特征表示之间的知识迁移与目标表示从零学习，按相同交互预算评估学习曲线及负迁移风险。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其对 representation transfer 与 task transfer 的区分及二者的实证联系，但算法机制、学习时间收益与迁移适用条件仍需全文核对。