跳到正文
OpenReview · Representation learning· Lixuan Zhang; Meina Kan; Shiguang Shan; Xilin Chen·· 2024-01-01精选AI 评分73

PreLAR:基于可学习动作表征的世界模型预训练

PreLAR: World Model Pre-training with Learnable Action Representation

AI 导读

基于摘要分析。PreLAR 研究基于模型的强化学习中,如何利用无动作标注视频预训练世界模型,以减少下游任务对真实环境交互的需求。其核心贡献是从相邻时刻的观测中学习隐式动作表征,使预训练本身具有动作条件,而非仅学习不带动作条件的视频预测。 机制上,作者将相邻两个时间步的观测编码为隐式动作表征,并以此作为世界模型预训练的条件;同时设计 action-state consistency loss,以自监督方式促使该表征更接近真实动作。微调阶段则将真实动作编码为动作表征,用于下游任务的整体世界模型训练。相较于摘要所述 APV 等方法,主要区别在于预训练阶段引入了可学习的动作条件,而不只是依赖微调来弥合条件差异。损失的具体形式、表征对齐方式与模型结构尚未验证。 作者报告,在 Meta-world 仿真环境的多种视觉控制任务上,PreLAR 提高了世界模型学习的样本效率。摘要未提供具体任务、交互预算、对照数值及统计结果,因此不能量化提升幅度,也不能据此认定动作条件预训练在所有场景下均有必要。实验协议、消融及统计信息尚未验证;摘要提供了代码仓库,但实现与复现条件尚未核验。 平台推测(待验证):其潜在 BCI 对应场景是具有连续观测和明确控制动作的闭环任务,而非直接用于离线 EEG 分类。假设相邻观测包含可辨识的控制效应,可复用隐式动作条件预训练思路,但需改造 EEG 编码器,并明确神经信号、外部状态与控制动作的时序关系。低信噪比、跨被试或通道差异,以及小数据条件,都可能使隐式动作混入噪声或非动作状态变化。一个可证伪的小实验是在固定被试内划分和交互预算下,对比无动作条件与隐式动作条件预训练的闭环控制表现及样本效率。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以相邻观测学习隐式动作、缩小无动作视频预训练与动作条件世界模型之间差异的机制,但摘要中的样本效率结论仍需结合完整评估协议核对,EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net