StructRL：面向基于 Flow 的 VLA 的结构化动作空间探索

研究针对基于 Flow 的 Vision-Language-Action（VLA）模型在机器人连续操控中的在线强化学习适应问题，提出 StructRL，将策略随机性从去噪链内部移至动作空间，以保持结构化探索与实际执行动作之间的对应关系。基于摘要分析，未取得论文全文。 现有方法通常在去噪链内部注入各向同性或时间上相互独立的噪声，但机器人探索可能需要时间平滑、且不同动作组具有不同尺度的噪声。作者指出，即使改用结构化链内噪声，其影响仍可能在后续去噪过程中被削弱，并将该现象称为 Structured Noise Dilution。 StructRL 联合采用三项设计：确定性 ODE 解码器、直接注入动作空间的结构化噪声，以及 terminal replay。按摘要描述，terminal replay 避免对中间去噪状态赋予似然，并缩短策略梯度路径，从而为 Flow 解码器提供可处理的训练信号。摘要未给出噪声分布、时间相关结构、动作分组方式及 terminal replay 的具体数学实现。 作者报告，在三个基于 Flow 的 VLA 模型、多个模拟操控基准及两个真实世界任务上，StructRL 相比既有链内加噪基线提高了探索效率和分布外（OOD）表现。摘要未提供具体模型与基准名称、指标、提升幅度或 OOD 划分定义，不能据此比较不同任务的收益；实验协议、消融及统计信息尚未验证。 该研究的直接对象是机器人动作策略，而非 EEG 解码或 BCI。现有材料不足以建立其结构化动作探索机制与神经信号建模瓶颈之间的具体对应关系，因此不推断其具有已验证的 BCI 效果。