跳到正文
OpenReview · Representation learning· Lingxiao Wang; Qi Cai; Zhuoran Yang; Zhaoran Wang·· 2022-01-01精选AI 评分82

通过嵌入控制部分可观测系统:具有可证明样本效率的表示学习

Embed to Control Partially Observed Systems: Representation Learning with Provable Sample Efficiency

AI 导读

基于摘要分析。本文研究部分可观测马尔可夫决策过程(POMDP)中的表示学习与策略优化,提出 Embed to Control(ETC),通过两级低维表示处理长历史依赖以及连续观测、状态空间带来的样本复杂度问题。 核心机制包括:在单步层面,学习能够分解转移核的低维状态特征;在多步层面,将逐步特征组合为完整历史的低维嵌入,并在优化策略的同时学习表示。作者将两者纳入统一框架,允许采用包括最大似然估计与生成对抗网络在内的多种估计器;摘要未给出具体损失形式和实现细节。 作者报告,对于转移核具有低秩结构的一类 POMDP,ETC 的样本复杂度为 O(1/ε²),且随时域长度和内在维度(即秩)呈多项式增长,其中 ε 为最优性差距。这是特定结构条件下的理论保证,并非任意部分可观测任务中的经验性能结论。定理的完整假设、其余复杂度依赖、实验协议、消融及统计信息尚未验证。 平台推测(待验证):闭环 BCI 中,神经观测未必充分揭示用户意图或系统状态,历史嵌入可能提供可复用的建模思路;但迁移依赖动作—观测轨迹,以及低秩转移结构和状态特征可学习性是否成立。需改造观测编码与交互接口,低信噪比、跨被试差异和有限交互数据均可能使这些条件失效。可先在具有可控隐状态和观测噪声的闭环 BCI 仿真中,固定交互预算,比较历史嵌入与仅用当前观测的策略表现,并改变转移秩检验结构依赖。该实验仅检验迁移假设;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其低秩转移结构与历史表示的理论条件:作者报告 ETC 将 POMDP 表示学习与策略优化统一,并给出关于时域和内在维度的多项式样本复杂度保证,但这不构成 EEG/BCI 有效性的证据。

来源:OpenReview · Representation learning · openreview.net