理解决策过程中多任务表征学习的收益

基于摘要分析。本文研究强化学习（RL）中多任务表征学习（MRL）为何能够提高样本效率，核心贡献是将理论分析扩展到需要从数据中学习的未知非线性表征，同时讨论在线学习及向新相关任务迁移的情形。 原问题是智能体同时求解 M 个 contextual bandits 或马尔可夫决策过程（MDPs）。方法通过 Generalized Functional Upper Confidence Bound（GFUCB）算法，从非线性函数类 Φ 中学习共享表征 φ，而非假定表征预先已知或限制于线性函数类。摘要未给出 GFUCB 的具体更新、置信界构造或函数类复杂度条件，因此尚不能据此还原实现。 作者报告，其遗憾上界优于独立学习 M 个任务所对应的下界，并将这一结果称为一般函数类下 MRL 有效性的首次展示；该比较的任务相关性、可实现性及其他成立条件仍需全文核对。作者还报告，理论框架解释了共享表征对新相关任务迁移的贡献，识别了成功迁移的关键条件，并获得实证支持。实验任务、数据规模、对照基线、评估指标、消融及统计信息尚未验证。 平台推测（待验证）：若将不同被试或会话建模为相关的序贯决策任务，共享非线性表征可能对应 EEG 闭环控制中减少交互样本需求的瓶颈；但这依赖任务间存在可共享结构，且具有动作、反馈与奖励数据，不能直接等同于离线 EEG 分类。可能复用的是多任务共享表征与置信界探索思路，需要改造 EEG 观测编码、动作及奖励定义。低信噪比、通道差异、被试异质性和小样本可能导致负迁移或不可靠的置信估计。一个可证伪的小实验是在明确奖励的简化 EEG 闭环仿真中，以相同交互预算比较共享学习与逐任务独立学习，并逐步增大任务差异，检验收益是否随共享结构减弱而消失。已有 EEG 相关工作尚未检索确认。