Hadamard 表征:增强强化学习中的双曲正切激活函数
Hadamard Representations: Augmenting Hyperbolic Tangents in RL
基于摘要分析。本文研究强化学习中激活函数的表征能力与神经元失活问题,提出 Hadamard representation,以改善 tanh 等连续可微激活函数的学习表现。主要研究对象是 Atari 强化学习,而非 EEG 或 BCI。 作者指出,连续可微激活函数与 ReLU 等分段线性函数各有优势和局限,但前者在强化学习中的表现往往较弱。作者认为,神经元失活并非 ReLU 独有的问题,在 tanh 等连续可微激活函数中还会带来额外问题;提出的 Hadamard representation 旨在缓解这一现象。摘要未说明该表征的具体构造、插入位置、是否引入可训练参数,以及如何界定失活神经元,相关机制需查阅全文。 作者报告,在 Atari 领域使用 DQN、PPO 和 PQN 评估时,该方法带来更快学习、更少失活神经元及更高有效秩。摘要未提供具体游戏、对照配置、效应数值或统计信息,因此尚不能判断收益的幅度与稳定性,也不能据此认定有效秩变化是性能改善的原因。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若该方法主要通过改造激活表征来维持特征多样性,则可能为 EEG 网络中的激活饱和与表征退化提供一个可检验假设,但强化学习中的非平稳训练与 EEG 解码并不等同。可复用候选是其表征模块,需适配 EEG 编码器及通道输入;低信噪比、跨被试差异和小数据可能使表征秩增加而泛化不改善。取得具体实现后,可在固定 EEG 任务与跨被试划分下,仅替换激活表征,与原 tanh、ReLU 配置对照,同时检查任务指标、失活比例和有效秩。已有 EEG 相关工作尚未检索确认。
值得核对 Hadamard representation 如何缓解 tanh 在强化学习中的神经元失活,以及学习速度、失活比例与有效秩的变化是否一致;其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net