架构归纳偏置可足以实现深度强化学习中的状态抽象

基于摘要分析。本文研究深度强化学习能否仅通过奖励优化忽略与任务无关的观测变量，而不引入辅助目标；核心贡献是在策略网络和价值网络的输入端加入可学习、与当前观测无关的注意力掩码，并仅使用 RL 目标端到端训练。 该机制通过架构归纳偏置调节输入变量的作用，而非依赖随观测动态变化的注意力。作者报告，在包含无关状态变量的设置中，标准深度 RL 学习缓慢或无法学得有效状态抽象；加入掩码后，在 12 个连续控制任务上持续改善样本效率，并学会屏蔽干扰输入。摘要未提供具体任务名称、改进幅度及对照配置，不能据此量化优势。 机制分析包括线性回归任务中的梯度下降动态，以及 toy MDPs 实验：作者报告前者显示特征贡献分配得到改善，后者显示掩码有助于准确估计 Q 值，并在因子化状态空间上形成软抽象。这些结果支持将该结构作为状态抽象研究的简单基线，但不等于辅助目标在其他任务中均无必要。掩码参数化、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 交互任务中的干扰可对应为稳定的通道或特征维度，该输入掩码可能用于 RL 决策模块的特征筛选；其前提是具有明确奖励与相对稳定的输入语义，而非直接替代 EEG 解码器。可复用输入门控结构，但需适配 EEG 特征及奖励设计。低信噪比、小样本和跨被试通道差异可能使固定掩码误删弱但有效的信号。一个可检验的小实验是在固定 EEG 特征和相同 RL 训练预算下，对比有无掩码时对人工加入无关特征的鲁棒性，同时检查任务表现及掩码稳定性。已有 EEG 相关工作尚未检索确认。