线性二次自适应控制中多任务表征学习的遗憾分析
Regret Analysis of Multi-task Representation Learning for Linear-Quadratic Adaptive Control
基于摘要分析。本文研究动态控制场景下共享表征能否降低多任务学习的在线遗憾,主要对象是多个智能体的线性二次自适应控制,而非 EEG 解码或 BCI。其贡献是在不同探索条件下给出依赖智能体数量的遗憾界,并分析近似共享表征带来的模型误设问题。 机制与理论结果:各智能体通过共享学习到的特征实现协作,同时保留任务特定参数。作者指出,近似表征引入的误设需要与学习过程加以平衡,单任务在线 LQR 中常用的最小二乘参数更新不足以直接满足这里的改进要求,因此提出新的更新方案;具体更新形式和假设条件尚未验证。作者报告,在“良性”探索条件下,任一智能体经过 T 个时间步的遗憾为 Õ(√(T/H)),其中 H 为智能体数量;在“困难”探索条件下为 Õ(√(d_u d_θ)√T + T^(3/4)/H^(1/5)),其中 d_u 为输入维度、d_θ 为任务特定参数数目。作者将其与单任务 minimax 遗憾 O(√(d_x d_u²)√T) 比较,指出多智能体协作的收益;d_x 为状态空间维度。这些是不同条件下的理论界,不能视为无条件的性能提升。作者还指出,共享表征可使任务特定参数数目较小,并提供数值实验验证预测趋势,但摘要未给出具体系统、指标或实验数值。 平台推测(待验证):潜在对应点是 BCI 闭环控制中的跨用户共享动力学表征,而非直接改进 EEG 分类。该假设依赖任务间确有共享结构、状态与控制输入可定义且足以辨识系统;可考虑复用共享表征与任务参数分离的思路,但需改造观测模型、噪声处理和安全探索机制。低信噪比、部分可观测性、被试差异及小样本可能破坏其假设。一个可证伪的小实验是在具有已知共享动力学的模拟闭环任务中,对照独立在线 LQR 与共享表征方案,逐步增加观测噪声和任务异质性,检验协作收益是否消失。已有 EEG 相关工作尚未检索确认;全文理论条件、实验协议、消融及统计信息尚未验证。
值得关注其如何在多智能体在线 LQR 中同时处理共享表征误设与探索难度,并以条件化遗憾界刻画协作收益;这些理论条件能否对应 BCI 闭环控制尚未验证。
来源:OpenReview · Representation learning · openreview.net