具有共享结构的序列任务中的联合表示训练

基于摘要分析。本文研究多个相关强化学习（RL）任务如何通过联合表示训练减少累计遗憾，将“任务相关性”定义为各任务共享一种使动力学呈线性的状态—动作表示，并提出用于 Multitask MatrixRL 的 Shared-MatrixRL 算法。 作者报告的理论结果是：对于 P 个回合式任务，原始维度为 d、共享表示维度为 r 且 r ≪ d，在 N 个回合、每回合时域长度为 H 的设定下，P 个任务的遗憾界可由 O(PHd√(NH)) 改善为 O((Hd√(rP) + HP√(rd))√(NH))。这是特定共享结构假设下的上界比较，不是实测奖励或解码性能的提升；收益幅度取决于任务数与表示维度等参数关系。 计算方面，作者报告：在有限状态—动作空间且可调用双线性优化 oracle 的条件下，可通过归约到二次规划得到计算高效的多任务 MatrixRL 算法，因此不能将该效率结论推广为任意环境下的无条件保证。摘要还提出一种技术，可使部分回合式线性问题的遗憾上界减少一个 √H 因子。具体表示估计过程、优化实现、完整定理条件、实验协议及消融和统计信息尚未验证。 平台推测（待验证）：若某类 BCI 自适应控制可建模为多个相关 RL 任务，且不同被试或会话确实共享近似线性的低维状态—动作动力学，则联合表示可能减少独立学习的数据需求。可复用的是跨任务共享表示的建模思路；需改造的是 EEG 状态编码、通道对齐及奖励与动作定义。低信噪比、部分可观测性、跨被试非平稳性和小样本可能破坏共享线性结构。可先在具有已知共享秩、可调观测噪声的模拟控制任务中，在相同交互预算下比较联合与独立学习，并检验破坏共享结构后收益是否消失；该实验不能替代真实 BCI 验证。已有 EEG 相关工作尚未检索确认。