跳到正文
OpenReview · Representation learning· Mingxuan Ye; Yufei Kuang; Jie Wang; Yang Rui; Wengang Zhou; Houqiang Li; Feng Wu·· 2023-01-01精选AI 评分76

用于表征学习的基于 Fourier transform 的状态序列预测

State Sequences Prediction via Fourier Transform for Representation Learning

AI 导读

基于摘要分析。本文研究深度强化学习(RL)的样本效率问题,提出 State Sequences Prediction via Fourier Transform(SPF),通过预测未来状态序列的频域表示,提取时域中不易辨识的序列结构,以学习有利于长期决策的表征;主要研究对象是 RL 状态序列,而非 EEG 或 BCI。 核心机制:作者从理论上分析状态序列中与策略性能及信号规律性密切相关的结构信息,并提出预测无限步未来状态序列的 Fourier transform。作者称,该方法无需将无限步未来状态存储为预测目标,且实现简单。摘要尚未给出无限时域目标的具体定义、计算方式、损失形式,以及表征学习与策略优化如何结合,相关细节尚未验证。 结果与证据边界:作者报告,在所开展的实验中,SPF 的样本效率和性能优于若干当时的先进算法;摘要未提供任务、数据规模、对照算法名称或具体指标,因而不能量化收益或判断适用范围。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,预测未来序列的频域结构可能为 EEG 自监督表征提供训练信号,但 RL 状态序列中的结构与策略关联并不等同于 EEG 的任务相关信息。可借鉴频域预测目标的思路,需重新定义有限 EEG 窗口上的目标、通道组织及下游任务接口;低信噪比、非平稳性、跨被试频谱差异和小数据条件可能使模型优先学习伪迹或个体特征。可先在同一 EEG 数据划分及相同编码器下,对照时域未来预测与有限窗频域未来预测,再评估跨被试下游表现;这只能检验改造后的频域目标,不构成对原始 SPF 的完整复现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以未来状态序列的 Fourier transform 作为表征学习预测目标的机制,以及无需存储无限步未来状态的实现思路,但其具体构造、实验优势与 EEG 迁移价值仍需核对全文。

来源:OpenReview · Representation learning · openreview.net