跳到正文
OpenReview · Representation learning· Yuzhen Qin; Tommaso Menara; Samet Oymak; ShiNung Ching; Fabio Pasqualetti·· 2022-01-01精选AI 评分76

序列线性 bandit 中的非平稳表示学习

Non-Stationary Representation Learning in Sequential Linear Bandits

AI 导读

基于摘要分析。本文研究非平稳环境下的多任务决策:在 sequential linear bandits 框架中,智能体依次处理来自不同环境所对应任务集合的任务,同一集合内的任务嵌入共享低维特征提取器,即表示,而不同集合的表示不同。核心贡献是提出在线算法,自适应地学习和迁移这些非平稳表示,以提高决策效率。 该方法将任务间可共享的结构与环境间变化结合起来,而非把每个任务完全独立处理。作者报告,理论分析证明其算法显著优于独立处理任务的现有方法,并通过合成数据和真实数据实验支持理论结论。摘要未提供具体性能指标、真实数据来源、任务划分、表示变化的假设或理论界,实验协议、消融及统计信息尚未验证;也无法据此确定算法如何识别变化、选择迁移对象或避免负迁移。 平台推测(待验证):若 BCI 在线决策可近似为具有线性收益结构的任务序列,且部分任务共享低维表示,该框架可能为跨会话非平稳适应提供思路。其原始研究对象是 bandit 决策,而非 EEG 信号解码;潜在可复用部分是表示共享与自适应迁移策略,需改造的是 EEG 上下文特征、动作空间及反馈定义。低信噪比、通道变化、被试差异或少量反馈可能破坏共享表示与线性收益假设。一个可证伪的小实验是在固定 EEG 特征与反馈规则下构造跨会话任务序列,对比独立任务学习和自适应表示迁移的累计遗憾或任务收益,检验共享结构变化时是否仍有优势。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其对环境间变化、环境内共享的低维表示进行在线学习与迁移的建模方式,但理论优势的成立条件及其对 BCI 非平稳性的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net