跳到正文

算法、任务与模态

Robotics 最新动态

Robotics 研究索引；按可核对的标签归档，不以热度评价质量。

745 条精选近 30 天 182 条共收录 878 条

更新

精选归档 · 第 38 页

12月31日周一第 741–745 条
  1. OpenReview · State space models73

    基于他者状态价值估计的合作与竞争行为习得

    基于摘要分析。本文研究 RoboCup 类多智能体动态环境中，由其他智能体及其行为引起的状态与动作空间膨胀问题，提出分层模块化强化学习方法，使学习智能体习得与队友合作、与对手竞争的行为。 核心机制包括两部分：一是采用包含多个学习模块的两层层级系统，以底层模块的状态价值组成顶层状态空间，并使用宏动作压缩顶层动作空间；二是通过观察估计其他智能体距离其自身目标的接近程度，将这一估计作为顶层状态空间中的状态价值信息，以支持合作与竞争行为决策。其主要研究对象是机器人多智能体行为学习，不能仅因来源栏目含有 State space models，就将其归为现代序列状态空间模型方法。 作者报告，在防守方4个智能体对进攻方5个智能体的比赛任务中，学习智能体获得了传球、射门等团队配合行为，学习速度较此前工作快30倍。摘要未提供该对照工作的具体设置、学习时间定义、成功判据及重复实验信息，因此这一加速结果仅适用于作者所述任务背景，不能直接外推至其他环境；实验协议、消融及统计信息尚未验证。 材料未涉及 EEG 或 BCI，也未提供神经信号输入、解码任务或相关评估，现有证据不足以建立具体迁移路径，不据此推导 BCI 有效性。复现需进一步取得全文，核对底层模块训练方式、宏动作定义、他者状态价值估计方法，以及原始对照的计算与交互预算。

    阅读价值：值得关注其以底层状态价值和他者目标接近程度构造高层状态的多智能体分层学习机制，但作者报告的学习加速仍需结合原文对照与计时协议核验。

  2. OpenReview · State space models73

    基于其他智能体状态价值估计的多智能体环境快速行为学习

    基于摘要分析。本文研究多智能体动态环境中，其他智能体及其行为导致状态与动作空间膨胀、进而拖慢强化学习的问题，提出利用分层模块化学习及其他智能体状态价值估计，学习队友间的协作行为与针对对手的竞争行为。 核心机制是两层层次结构：底层包含多个学习模块，高层以底层输出的状态价值构造状态空间，并采用宏动作压缩物理动作空间。系统还通过观察，估计其他智能体距离其自身目标的接近程度，将该估计作为高层状态中的价值信息。其方法重点是以任务相关的价值表示组织决策，而非直接在完整感知与动作空间中学习。 作者报告，在防守方4个智能体对进攻方5个智能体的比赛任务中，学习智能体获得了传球、射门等团队配合行为，学习速度相较早期工作提高至约30倍。该结果限于摘要描述的比赛任务；早期工作的具体基线、训练预算、学习完成判据、重复试验及统计信息尚未验证，不能据此推导其他任务上的加速幅度。底层模块如何学习、其他智能体的目标与价值如何估计，以及宏动作如何定义，也需查阅全文确认。 研究的主要对象是RoboCup类多智能体行为学习，并非EEG解码或BCI控制。现有材料不足以建立其与EEG瓶颈的具体机制对应，因此不据此提出BCI迁移效果或复现实验建议。

    阅读价值：值得核对其如何将底层状态价值与其他智能体的目标接近程度组合为高层状态，以缓解多智能体强化学习的维度问题；摘要中的学习加速结论仍需结合原始对照协议验证。

12月31日周三
  1. OpenReview · State space models73

    多智能体环境中用于移动机器人学习的基于视觉的状态空间构建

    基于摘要分析。本文研究多智能体环境中移动机器人如何从视觉观测构建适合强化学习的状态空间，提出通过观察与动作交互进行系统辨识，估计学习机器人行为与其他智能体行为之间的关系，再利用 Akaike’s Information Criterion（AIC，赤池信息准则）确定各智能体的状态向量。 核心问题是：其他智能体的策略未知，其动作会改变机器人看到的视觉信息，使观测变化难以直接归因于机器人自身运动。方法先辨识交互关系并构造状态表示，再基于估计的状态向量进行强化学习以获取最优行为。这里的“state space”指机器人强化学习中的状态空间构建，摘要并未描述现代序列建模中的 State Space Model 架构。 作者报告将方法应用于机器人足球场景中的实体智能体，使其学习应对滚动的球和另一移动智能体，并展示计算机仿真及真实实验。摘要未提供定量结果、对照方法或状态估计误差，因此不能据此判断性能提升幅度。系统辨识的具体形式、AIC 候选模型、视觉特征、强化学习算法，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于具有动作反馈和环境观测的闭环 BCI，该机制可能帮助区分用户控制引起的环境变化与外部对象运动，但它并非直接针对 EEG 解码。可复用的是交互辨识与状态选择思路；视觉观测模型需改造为神经信号、控制输出及环境反馈的联合表示。此假设依赖可对齐的时序交互数据，EEG 低信噪比、反馈延迟、跨被试差异和小数据可能使辨识不稳定。一个可检验的小实验是在固定 EEG 解码器与控制策略下，比较加入辨识状态和仅用当前观测的闭环任务表现，并分别设置静态与移动干扰对象；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其通过交互式系统辨识与 Akaike’s Information Criterion 构造多智能体强化学习状态空间的机制，但摘要不足以验证状态估计质量、学习效果及其对 EEG/BCI 的适用性。

12月31日周二
  1. OpenReview · State space models75

    基于增量状态空间分割的真实机器人学习：以更短学习时间获得合理性能

    基于摘要分析。本文研究真实机器人强化学习中的状态空间构建与学习耗时问题，提出根据机器人交互经验逐步分割传感器空间，使机器人在学习过程中形成面向任务的状态表示，而非完全依赖预先确定的状态划分。 其核心机制是在状态空间中构建局部模型，利用对传感器输出的函数近似减少学习时间，并通过强化信号引导目标行为形成。这里的 state space 指机器人强化学习的状态表示与划分，并非材料已证明采用了现代序列建模中的 State Space Models；不能因来源栏目名称将其归为此类模型。 作者在足球机器人将球射入球门的任务上开展计算机仿真与真实机器人实验。作者报告，真实机器人通过增量状态空间分割，在少于一小时的训练内学会射门行为。摘要未给出成功率、训练交互次数、对照方法或重复试验信息，因此这一时间结果仅适用于所述机器人射门实验，不能据此量化相对固定状态划分的提升。分割准则、局部模型形式、强化学习更新方式，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将该思路用于以 EEG 解码输出为状态的闭环控制，其可借鉴之处是按交互经验与奖励自适应调整状态粒度，而非直接复用机器人传感器模型。该假设依赖连续状态观测与可获得的任务奖励；EEG 低信噪比、跨被试差异和有限交互数据可能使划分不稳定。一个可证伪的小实验是在同一被试、相同初始解码器与交互预算下，对比固定状态划分和增量划分，检验达到预设控制成功率所需的交互次数及最终成功率。此为迁移假设，不是本文已验证的 BCI 结果；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对的是如何以传感器输出的局部函数近似与强化信号驱动状态空间增量划分，以及该机制能否在保持任务表现的同时降低真实机器人训练成本；摘要尚不足以验证其相对基线优势。

  2. OpenReview · State space models73

    用于机器人学习的基于动作的传感器空间分类

    基于摘要分析。本文研究视觉移动机器人学习中状态空间与动作空间相互依赖的问题，提出依据动作可达性构造状态空间的方法，而非预先固定状态划分。其贡献是将传感输入聚类与动作序列抽象结合，形成用于规划的状态转移图。 核心机制是：若一组输入向量对应的情形均可通过重复执行同一种动作原语，到达目标状态或已经构造出的状态，则将这些输入向量归为一个状态簇，不以动作序列长度作为区分依据；同时，将该重复动作序列定义为一个动作。方法依赖大量机器人交互经验，以超椭球对输入向量进行聚类，从而把传感器空间划分为按动作组织的状态转移图，并据此获得最优动作序列。这里的状态空间指机器人学习中的状态表示，摘要并未将其描述为现代序列建模中的 State Space Models。 作者报告将方法用于尝试把球射入球门的足球机器人，并展示了仿真与真实机器人实验。摘要未提供成功率、样本量、对照方法或最优性的评价条件，因此不能量化其收益；实验协议、消融及统计信息尚未验证。复现需进一步核对视觉输入表示、动作原语、超椭球拟合与归簇规则、经验采集方式及转移图规划过程。 平台推测（待验证）：该机制可能为闭环 BCI 中依据控制后果构造状态抽象提供参考，但这只是迁移假设，不是 EEG 解码效果的证据。可复用的是可达性分组与动作序列抽象，需改造的是神经信号特征、反馈状态和动作完成判据，并依赖带动作及结果记录的交互数据。低信噪比、跨被试差异、通道变化和小数据可能使状态簇及可达性估计不稳定。一个可检验的小实验是在固定被试与通道的闭环光标任务中，用同一批训练交互数据比较动作可达性聚类与仅按 EEG 特征聚类，并在独立测试交互中评价目标到达率和控制步数。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以动作可达性定义状态、联合构造状态与动作抽象的机制，但足球机器人验证的具体效果及其对 EEG/BCI 的适用性尚未验证。