跳到正文
OpenReview · Representation learning· Vasileios Sevetlidis; George Pavlidis·· 2026-06-03精选AI 评分78

规范不变的表征完整性(holonomy)

Gauge-invariant representation holonomy

AI 导读

基于摘要分析。本文研究深度网络内部表征沿输入路径变化的几何性质,提出 representation holonomy,用于刻画 CKA、SVCCA 等点态相似性指标难以捕捉的路径依赖,而非直接提出 EEG 或 BCI 算法。 核心机制是沿输入空间中的小闭合回路对特征进行平行移动,测量累计的“扭转”:平坦表征对应零 holonomy,非零值则揭示隐藏曲率。估计流程包括通过全局白化固定规范、利用共享子空间与仅旋转的 Procrustes 对齐邻域,再将结果嵌回完整特征空间。作者报告证明了对正交变换及白化后仿射变换的不变性,建立了仿射层的线性零值基准,并说明 holonomy 在小半径极限下趋于零。具体定义、证明条件与数值估计误差尚需全文核对。 作者报告,在摘要未列明的实验设置下,holonomy 随回路半径和网络深度变化,能够区分 CKA 判断为相似的模型,并与不同训练方案下的对抗及输入损坏稳健性相关;该指标还可追踪训练中表征形成与稳定的过程。这些结果属于表征诊断与相关性证据,不能据此认定 holonomy 能因果改善泛化或稳健性。数据集、模型规模、对照设置、指标数值、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 编码器的输入邻域可由具有生理意义的小扰动构造,该方法可能用于比较点态相似却对扰动反应不同的表征。可复用白化、邻域对齐与闭环统计流程,但需改造输入回路构造,并核对跨被试、通道变化及小样本条件下的估计稳定性;低信噪比可能使测得的“扭转”主要反映噪声或协方差估计误差。一个可证伪的小实验是在固定被试内划分及相同扰动协议下,比较多个 EEG 编码器的 CKA、holonomy 与实际性能下降是否具有一致关联。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其如何以规范不变的路径统计量补充 CKA、SVCCA 的点态比较,但稳健性相关性的实验协议及其对 EEG 表征诊断的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net