跳到正文
OpenReview · Representation learning· Rupert Tawiah-Quashie; Richard Hakim; George A. Alvarez; Talia Konkle·· 2026-05-15精选AI 评分71

通过对 3D 环境的预测性探索进行学习,增强场景几何的视觉表征

Learning to see via predictive exploration of a 3D environment enhances visual representation of scene geometry

AI 导读

基于摘要分析。该研究考察预测性导航训练能否使世界模型学到对场景几何敏感的视觉特征,并区分视觉骨干与循环状态在视点表征中的作用。研究对象是 3D 环境中的视觉导航代理,而非 EEG 或 BCI 系统。 方法采用 tiny-JEPA,由 ConvNet 骨干与 LSTM 构成,以当前视觉潜变量和动作(dx、dy、dθ)为条件,端到端训练模型预测自身的视觉潜在响应。训练后冻结权重,使用线性探针分别从 CNN 与 RNN 潜在表征解码视点;代理先经历环境预热,再在不同环境中执行结构化旋转序列。摘要未给出具体损失、潜在预测目标的构造和训练规模。 作者报告,在采用 16 个等间隔旋转步、保留房间四重对称性的环境中,单帧存在几何歧义,只有 LSTM 循环状态支持视点解码,这与利用时间信息整合朝向的解释一致。在采用 21 个旋转步、打破房间对称性且不同视点具有细微几何差异的环境中,导航训练后的 CNN 骨干也支持解码;作为对照,在 ImageNet 上训练的类似 AlexNet 架构表现接近机会水平。摘要未提供具体解码分数、机会水平数值或统计不确定性。 作者据此认为,预测性导航训练可促成标准对象识别模型中未体现的几何敏感特征,循环状态则提供骨干单独无法提供的序列朝向信息。该结论应限定于摘要所述环境与探针任务;对照模型的架构和训练资源匹配、探针训练与测试划分、跨环境泛化、消融及统计信息尚未验证。材料未直接比较主动与被动视觉训练,不能据此将背景中的主动探索论点视为本研究已验证的因果结论。其对 EEG/BCI 的适用性尚未验证,已有相关工作尚未检索确认。

阅读价值

该研究通过具有不同几何歧义的环境区分视觉骨干的单帧几何表征与循环状态的时序朝向表征,值得核对其线性探针协议及导航训练与对象识别训练的对照条件。

来源:OpenReview · Representation learning · openreview.net