跳到正文
OpenReview · EEG·· 23 天前精选AI 评分81

脑与基础模型之间表征轨迹的免对齐几何

Alignment-Free Geometry Of Representational Trajectories Across The Brain And Foundation Models

AI 导读

基于摘要分析。研究针对不同系统不共享坐标、维度或演化轴时如何比较表征轨迹的问题,提出免对齐的黎曼几何框架,并用共同图像对应的视觉皮层 EEG/MEG 响应及基础模型表征进行验证。主要贡献是区分坐标无关的几何对应与保持顺序的动态对应,而非提出 BCI 解码算法。 研究使用 THINGS-EEG2、THINGS-MEG,以及输入标签的 Llama-3-8B 和输入图像的 DINOv2。每个系统将一幅图像表示为对称正定流形上的邻域协方差轨迹;随后把轨迹映射到该系统 Fréchet 均值处的切空间,沿系统自身的演化轴计算速度方向,仅通过各图像速度方向之间的两两角度几何比较系统。摘要指出,该统计量对各系统经 PCA 降维后的协方差所施加的独立可逆合同变换,以及逐图像缩放保持不变;这一性质不应扩大解释为对任意预处理均不敏感。 作者报告,在所分析的 EEG 和 MEG 数据中,皮层轨迹与 Llama、DINOv2 均呈正向角度几何对应。顺序敏感检验显示,两种模型的最佳匹配深度均未随皮层时间持续推进;但不依赖推进速率的单调检验,在两个数据群体中均发现皮层时间与标签输入模型深度存在有序对应,而图像输入模型未呈现该对应。两类检验回答不同问题,不能把几何相似直接视为模型深度复现了皮层时间动态。 作者报告,类别分析支持对应关系由渐变的邻域关系组织,而不能简化为离散类别标签;支架对照则表明,相当一部分逐切片一致性来自共享刺激邻域图。因此,解释脑—模型对应时需要区分共享刺激结构与轨迹顺序的贡献。摘要未提供具体效应量、被试数、数据划分、邻域构建参数及 PCA 设置;实验协议、消融及统计信息尚未验证,复现需进一步核对这些条件及顺序检验的实现。现有材料不支持推断其能提升 BCI 解码性能。

阅读价值

值得阅读的具体原因是,该框架将无需坐标对齐的表征几何对应与保持顺序的轨迹对应分开检验,并通过支架对照揭示共享刺激邻域图对一致性的贡献,有助于审慎解释 EEG/MEG 与基础模型之间的相似性。

来源:OpenReview · EEG · openreview.net