利用人生事件模型检验柏拉图表征假说
Testing the Platonic Representation Hypothesis with Life-Event Models
基于摘要分析。该研究考察:分别从人生经历记录和语言中训练的模型,是否会学到相似的事件关系。研究将基于全国性登记记录中的人生经历序列训练的模型,与独立训练、输入相同事件文字描述的语言模型进行比较,以检验 Platonic Representation Hypothesis(柏拉图表征假说)。主要研究对象是人生事件表征,而非 EEG 或 BCI。 方法上,研究区分局部对齐与全局对齐:前者考察两个表征空间是否将相同事件视为近邻,后者考察所有事件对的相似性是否一致。研究依据 Aristotelian critique,对偶然一致与层选择的影响进行校准,并通过控制共享措辞和编码类别,检验局部对齐是否仅由表面信息造成。 作者报告,在原始模型比较范围内,人生经历模型规模每次增大,与每个语言模型之间的局部对齐均提高;语言能力更强也与更高的局部对齐相关,这一关联在更广泛的语言模型比较中同样出现。作者报告,控制共享措辞和编码类别后,局部对齐结论仍成立。所有模型配对的全局对齐均高于偶然水平,但当人生经历模型规模超过数百万参数后,全局对齐不再随规模增大而提高。因此,作者将结果解释为支持该假说的局部形式,而非所有尺度上的表征全面趋同。 摘要未提供登记数据来源与样本规模、事件构造、具体模型与对齐指标、数据划分及效应量;实验协议、消融及统计信息尚未验证。平台推测(待验证):局部与全局对齐的区分可为跨模态表征比较提供方法参考,但本文并未验证神经信号与语言表征的对应关系,不能据此推导 EEG/BCI 解码收益;相关 EEG 工作尚未检索确认。
值得阅读的是其将事件邻域一致性与全局相似性一致性分开检验,并校准偶然一致与层选择影响,为评估不同数据来源模型的表征趋同提供了可核对的分析框架。
来源:OpenReview · Representation learning · openreview.net