跳到正文
OpenReview · Representation learning·· 2026-09-14精选AI 评分81

同一世界,不同几何:对 Platonic Representation Hypothesis 的受控检验

Same World, Different Geometry: A Controlled Test of the Platonic Representation Hypothesis

AI 导读

基于摘要分析。本文检验 Platonic Representation Hypothesis:不同模态模型是否会随规模与能力提升而趋向共同的世界表征。作者构建真实潜变量 h 已知的物理世界,以独立生成的视频和文本为观测,通过改变预测目标,区分共同世界与目标所含信息对表征对齐的作用。 研究涵盖八个 Hamiltonian systems。两类编码器不共享权重,也不使用联合目标;配对训练条件仅在预测目标上不同。作者报告,在该受控设定中,两个编码器即使都能恢复物理信息,也不必彼此对齐;只有双方训练目标都提供关于 h 的信息时,才出现对齐。不同但均包含 h 信息的目标可以促成对齐,而相同但不包含 h 信息的目标不能。 作者定义 H-subspace,即两个编码器的潜在表示中承载相同 h 线性统计量的子空间;作者称证明了潜在空间在该子空间上的对齐,并展示单个线性映射可在空间间传递信息。作者还报告,在无关自然语料上预训练的模型虽能解码物理信息,却不共享这样的子空间。这一结果限定于本文设定,不能直接推为自然图文模型或所有预训练模型的普遍结论。具体目标、对齐指标、模型规模、数据划分、消融及统计信息尚未验证。 平台推测(待验证):该机制可用于检验 EEG 跨模态表征中“任务信息可解码”是否被误当作“表征已对齐”。其依赖可控潜变量或可信任务变量,以及能独立操纵信息含量的监督目标;可复用的是目标干预和线性子空间分析,需改造的是 EEG 编码与任务变量定义。低信噪比、被试差异、通道差异及小样本可能使线性子空间估计不稳定。一个小规模可证伪实验是在 EEG 与同步刺激表征中,比较包含或不包含已知任务变量信息的预测目标,并分别评估变量解码与跨模态线性映射;若信息性目标未带来更稳定的对齐,则不支持这一迁移假设。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究用潜变量已知的物理世界区分“恢复世界信息”与“表征几何对齐”,为核对跨模态对齐究竟来自共同观测还是训练目标提供了可控实验思路,但其对 EEG 表征的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net