多任务强化学习中的连续专家表征几何
Continuous Expert Representation Geometry for Multi-Task Reinforcement Learning
基于摘要分析。本文研究多任务强化学习(MTRL)中共享表征促进迁移与专家专门化抑制干扰之间的权衡,提出 Continuous Orthogonality Control(COC),将专家表征分离程度作为可连续调节的几何变量,而非由架构或优化设置预先固定。 机制上,COC 在允许专家表征重叠的框架与正交边界之间插值,同时保持专家网络、任务条件化、聚合机制、优化目标和模型容量不变;研究另用专家相干性(expert coherence)度量实际形成的几何结构,避免将控制参数直接等同于实现的分离程度。摘要未提供具体参数化和训练实现,相关复现条件尚未验证。 作者报告,在 Meta-World 的 MT10 与 MT50 上,基于五个随机种子的评估,最高观测性能均位于较宽的中等分离区域;在所评估的 MiniGrid 设置中,最大分离边界取得最高观测回报。摘要未给出具体分数,不能据此比较不同任务设置的绝对效果。作者还报告,提高控制坐标会系统性降低专家相干性,但 Meta-World 上的性能随实际相干性非单调变化,因此相干性适合作为几何诊断,而非普适的单调选优指标。在 MT10 上,所测试的开环调度及分离强度的端到端学习均未达到最佳固定设置,且可学习的有效系数趋向最大分离边界。实验协议、消融及统计信息尚未验证。 平台推测(待验证):这一受控几何干预思路可能用于检验多任务 EEG 模型中共享与专门化的权衡,但原研究对象是强化学习策略,并非神经信号解码。迁移需保留多专家结构并适配 EEG 编码与任务条件化;低信噪比、被试差异和小数据可能使相干性变化与泛化收益脱钩。可在固定容量的多任务 EEG 基线上扫描少量固定分离强度,在预先固定的跨被试划分下同时比较解码指标与专家相干性,以检验中间分离区域是否确有收益。已有 EEG 相关工作尚未检索确认。
值得阅读之处在于固定模型容量与主要训练组件后单独干预专家表征几何,并用实验区分“能否控制分离程度”与“何种分离程度有利于任务表现”,但其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net