跳到正文
OpenReview · Representation learning·· 2026-09-09精选AI 评分81

柏拉图式宇宙:基础模型看到的是同一片天空吗?

The Platonic Universe: Do Foundation Models See the Same Sky?

AI 导读

基于摘要分析。本文研究基础模型何时形成共享表征,以及这种收敛如何受模型容量、训练方式与架构影响。研究以天文学为实验框架,将星系物理参数作为外部参照,检验 Platonic Representation Hypothesis(PRH)及其 Aristotelian refinement(ARH),主要研究对象并非 EEG 或 BCI。 作者评估了十一类基础模型,涵盖监督分类、自蒸馏、联合嵌入预测、掩码自编码、视觉—语言预训练及天文学专用架构,参数量级约从千万到百亿。数据包括交叉匹配的 JWST、HSC、Legacy Survey 图像与 DESI 光谱;所有模型均冻结评估,不进行天文学专用微调。研究用线性探针预测红移、恒星质量及比恒星形成率,并用局部 MKNN 与全局 CKA 比较模型家族内部、跨模态和跨架构的嵌入几何。 作者报告,在上述冻结评估条件下,物理参数预测表现随容量呈可预测的变化,探针方向与预期的天体物理相关性及选择效应一致;局部而非全局嵌入对齐与物理预测表现相关,这一现象也见于几乎不共享低层统计特征的 DESI 光谱与 HSC 图像。作者据此认为结果更支持 ARH,而非严格的 PRH,并提出天文学基础模型可利用通用预训练架构。摘要未提供具体分数、样本量、划分及不确定性,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的是“外部可解释目标+局部与全局表征对齐”的评估思路,而非已验证的 BCI 方法。假设在同一批 EEG 样本上,不同冻结编码器的局部对齐比全局相似度更能反映任务信息,可先比较 MKNN、CKA 与固定划分下线性探针表现的关联;需适配通道与时间窗口,并防止低信噪比、被试差异和小样本使对齐主要反映非任务因素。该假设尚无本文提供的 EEG 证据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于以天体物理参数作为外部参照,检验表征对齐是否对应可解释的物理信息,而不只比较模型间相似度;局部与全局对齐的差异尤其值得核对。

来源:OpenReview · Representation learning · openreview.net