PrT-Flow：面向强化学习的概率密度可计算 Flow Matching

基于摘要分析。本文研究机器人策略中的一个矛盾：Diffusion models 与 Flow Matching 能表达灵活的动作分布，但许多强化学习算法还需要计算动作的概率密度。作者提出 PrT-Flow，在保留多模态、多步动作生成的同时，使概率密度可计算，以支持 SAC 风格的 actor-critic 训练。 核心机制是 Jacobian-Tractable Transformer（JTT）：使每个采样步骤可逆，并能够高效计算其 Jacobian 行列式。训练采用 Conditional Euler-step Training（CET），监督采样过程中单步的位移，而非瞬时速度。作者称，在特定假设下，CET 与拟合 Flow Matching 的 Euler 求解器更新具有相同的最小化解；具体假设、目标函数及证明范围尚未验证，不能将其扩大为与所有 Flow Matching 训练目标等价。 作者报告，在 Robomimic Lift 上进行 300 个 epoch 的模仿学习后，成功率为 96%，与所用 diffusion policy 参考结果相当；在 OGBench Cube-Triple 上经过 600k 个在线交互步后，成功率为 96%。两项结果来自不同任务与训练协议，不能直接横向比较。评估次数、随机种子、统计不确定性、强化学习基线、消融及概率密度计算开销尚未验证。摘要提供了代码地址，但代码内容与可复现条件尚未核验。 平台推测（待验证）：若 BCI 控制任务需要连续动作、多模态策略以及显式动作概率密度，PrT-Flow 的可逆策略生成与 CET 可能具有方法参考价值；这一假设不等于已有 EEG/BCI 效果。可复用部分是动作分布建模与训练目标，需改造的是神经信号条件编码及控制接口；低信噪比、跨被试变化和小数据可能使条件策略估计不稳定。一个可检验的小实验是在固定 EEG 特征与相同数据划分下，仅替换连续控制策略头，对照常用连续动作策略，比较任务成功率、推理时延与训练稳定性。已有 EEG 相关工作尚未检索确认。