通过演化多目标深度强化学习实现协作地空通信
Collaborative Ground-Space Communications via Evolutionary Multi-objective Deep Reinforcement Learning
基于摘要分析。本文研究终端与低地球轨道(LEO)卫星之间的直接上行通信,提出基于分布式协作波束成形(DCB)的通信范式,并以演化多目标深度强化学习求解上行可达速率、终端能耗与卫星切换频率之间的长期权衡。 核心机制是将难以与卫星建立高效直接连接的终端作为分布式天线,组成虚拟天线阵列,以提升终端到卫星的上行可达速率及通信持续时间。针对不同终端集群规模,作者将长期优化问题重构为动作空间缩减的通用多目标马尔可夫决策过程,再通过演化多目标深度强化学习获取偏好不同目标的策略;训练时屏蔽低价值动作以加快训练,并旨在使一次训练所得模型适用于更多变化的上行通信场景。 作者报告,在所研究的仿真条件下,所提算法优于多种基线;DCB 可使原本无法达到上行可达速率阈值的终端实现高效直接上行传输,所提算法也可获得偏重不同目标的多种策略,并在较低卫星切换频率下实现接近最优的上行可达速率。摘要未给出具体数值、基线名称、仿真配置及最优参照的计算方式,因此效果幅度与适用范围尚未验证。 复现需核对状态与动作定义、动作缩减及低价值判定规则、多目标策略的演化和选择机制、通信与能耗模型,以及训练和测试场景的变化范围。实验协议、消融及统计信息尚未验证。本文的主要研究对象是无线通信资源与协作传输优化,而非神经信号建模;现有材料未建立其与 EEG 或 BCI 任务的具体机制对应,不据此提出迁移效果或复现实验建议。
值得关注其通过动作空间缩减、低价值动作掩码与演化多目标深度强化学习处理多目标策略权衡的思路,但摘要中的证据限于地空通信仿真,不支持 EEG 或 BCI 有效性判断。
来源:OpenReview · State space models · openreview.net