异构环境下单时间尺度个性化平均奖励联邦 TD 学习

基于摘要分析。本文研究多个智能体在不同环境中交互、通过联邦协作学习各自价值函数的问题，提出个性化平均奖励联邦 TD 算法 pFedAR-TD。核心设定是存在共享线性表示，且各智能体的最优权重共同位于一个未知线性子空间中；算法在单时间尺度更新下联合估计公共子空间，并更新智能体特定权重与局部平均奖励。 作者报告，这种分解能够过滤环境异质性带来的冲突或错位信号，并在其理论设定下实现线性加速。不同于折扣奖励情形，平均奖励目标还需要估计各智能体的局部平均奖励，使共享子空间、个性化权重和平均奖励形成三组紧密耦合的动态。分析利用 projection、innovation filtration 和 QR decomposition 所诱导的几何性质，控制耦合更新中的误差扰动。 摘要特别指出，训练早期较大的子空间误差可能放大扰动、危及收敛，因此另设初始化阶段，并建立最大偏差界，使迭代保持在收敛论证适用的区域内。作者报告实验展示了共享结构学习对更一般控制问题的益处，但具体环境、对照基线、指标、加速对应的规模与通信条件，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG/BCI 的个性化在线控制能表述为平均奖励强化学习，且不同使用者的价值函数确实具有共享低维结构，该分解可能用于缓解跨被试环境差异造成的更新冲突；这并非普通 EEG 分类的直接适用方法。复用时需改造状态特征与奖励定义，并检验共享子空间假设。低信噪比、通道差异和小样本可能使子空间估计不稳定，非平稳性也可能影响理论条件。一个可证伪的小实验是在相同交互预算下，对比局部 TD、非个性化联邦 TD 与 pFedAR-TD，逐步增加环境异质性，检查平均奖励及学习稳定性是否改善。已有 EEG 相关工作尚未检索确认。