通过傅里叶变换预测状态序列以进行表征学习
State Sequences Prediction via Fourier Transform for Representation Learning
基于摘要分析。该研究针对深度强化学习中样本效率不足的问题,提出 State Sequences Prediction via Fourier Transform(SPF),通过预测未来状态序列的傅里叶变换,利用时域中不易辨识的序列结构学习表征;主要研究对象是强化学习状态序列,而非 EEG 或 BCI。 机制上,作者认为,已有长期未来状态预测方法未充分利用状态信号的结构信息。作者从理论上分析了这类信息的存在及其与策略性能、信号规律性的联系,并提出预测无限步未来状态序列的傅里叶变换。摘要强调,该方法无需存储无限步未来状态作为预测目标,但目标如何构造、如何训练及如何与强化学习目标结合尚未验证,不能仅凭摘要还原实现。 作者报告,在所开展的强化学习实验中,SPF 的样本效率和性能优于若干先进算法。摘要未提供任务、数据规模、具体基线或指标数值,实验协议、消融及统计信息尚未验证,因此目前只能确认其结果主张,不能判断优势的适用范围。 平台推测(待验证):若 EEG 任务的判别信息依赖较长时间范围内的频率结构,可假设将未来序列的频域预测用作表征学习辅助任务。可复用的是频域预测思路,需改造的是状态定义、多通道输入及预测目标;其在原研究中的依据涉及强化学习策略与状态序列,不能直接等同于 EEG 频谱建模。低信噪比、非平稳性、跨被试频谱差异及小数据条件均可能使模型优先学习噪声或个体特征。一个可检验的小实验是在固定 EEG 编码器、训练数据和跨被试划分下,对比无辅助目标、时域未来预测与频域未来预测,检验收益是否来自预测域而非额外训练预算。已有 EEG 相关工作尚未检索确认。
值得核对 SPF 如何在无需存储无限步未来状态目标的条件下实现频域预测,以及该目标对强化学习样本效率的贡献;其 EEG 表征学习价值尚未验证。
来源:OpenReview · Representation learning · openreview.net