使用稀疏余弦优化策略演化(SCOPE)玩 Atari Space Invaders
Playing Atari Space Invaders with Sparse Cosine Optimized Policy Evolution
基于摘要分析。本文研究 Atari 游戏中高维输入与策略参数搜索空间对演化学习效率的影响,提出 Sparse Cosine Optimized Policy Evolution(SCOPE),通过压缩输入表征降低策略学习的搜索负担。主要研究对象是 Space Invaders 游戏策略,而非 EEG 解码或 BCI。 机制上,SCOPE 将输入状态经 Discrete Cosine Transform(DCT)转换为系数矩阵,再进行截断与稀疏化,以保留原输入中的高能量特征。作者将这一过程称为伪注意力机制;摘要并未描述可学习的注意力权重。随后,方法使用稀疏 DCT 系数到策略动作的双线性仿射映射,并由 CMA-ES 学习。其关键思路是先压缩状态表征,再进行策略参数的演化优化,而非直接在未经修改的输入上搜索。 作者报告,在 Atari Space Invaders 任务中,输入规模由 33,600 降至 15,625,约减少 53%;SCOPE 配合 CMA-ES 的表现优于摘要所列的 OpenAI-ES、HyperNEAT,以及 DQN、A3C。摘要未提供游戏得分、评估回合数、随机种子、训练预算或基线配置,因此尚不能判断优势的幅度、统计稳定性及对其他游戏的适用性。DCT 的作用轴、截断与稀疏化规则、时序信息处理方式、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,DCT 稀疏表征可能降低 EEG 小数据解码中输入维度与演化搜索的负担,但前提是任务相关信息能够由所保留的系数表达。可复用的是 DCT 压缩与演化优化框架;需改造的是 EEG 时间轴或通道轴的变换方式、系数选择与解码输出。低信噪比下高能量成分可能主要来自伪迹,跨被试差异、通道排列与短暂 ERP 也可能使压缩损失判别信息。一个小规模检验可在固定被试内划分和训练预算下,对照原始输入、仅 DCT、DCT 截断及稀疏化的解码表现与计算成本;这属于迁移建议,并非原论文实验。已有 EEG 相关工作尚未检索确认。
来源:OpenReview · State space models · openreview.net