CARVE:跨视角视觉异质性下的潜在动作学习
CARVE: Learning Latent Actions under Cross-View Visual Heterogeneity
基于摘要分析。本文研究从无标签机器人视频中学习以动作为中心的动态表征,提出 CARVE(Cross-view Action Representation with View-specific Evidence),通过选择性共享同步多视角的状态转移信息,兼顾跨视角互补证据与目标视角特异线索,而非仅追求视角不变性。 机制上,CARVE 为每个目标视角从同步多视角上下文中形成全局分量,同时保留目标视角的私有分量;共享的未来动态模型在不同目标视角之间传递全局信息,并将私有信息限制在对应预测器内。针对同步多视角视频少于单视角录像的问题,训练采用单视角预训练、幅度引导的多视角适配、全局—私有分解三个渐进阶段。摘要未说明幅度引导的具体定义、分解约束或损失形式。 作者报告,在文中评估的长时程视频预测与下游机器人控制任务上,CARVE 相比强潜在动作基线取得一致改进;表征分析与消融支持选择性共享能够捕获互补动作信息并保留目标特异的转移线索。具体数据集、数据划分、基线名称、指标与改进幅度未在摘要中提供,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若同步 EEG 通道组或多模态记录同时包含共享任务动态与局部特异信息,全局—私有分解及受限信息路由可能具有参考价值,但摄像机视角不等同于 EEG 通道。迁移需改造信号编码器与动态预测目标,明确同步和分组方式;低信噪比、容积传导、跨被试或通道配置差异及小数据可能使共享分量吸收伪迹,或使私有分量保留无关噪声。可在固定被试内划分和相同模型容量下,比较完全共享、独立建模与选择性共享,并检验通道遮蔽后的表现;这只是可证伪的迁移假设,不是已证实的 BCI 效果。已有 EEG 相关工作尚未检索确认。
值得核对 CARVE 的全局—私有信息路由能否在利用同步多视角互补信息的同时保留视角特异的转移线索,但其对 EEG 多通道表征的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net