规范不变的表征和乐
Gauge-invariant representation holonomy
基于摘要分析。研究针对 CKA、SVCCA 等表征相似性指标难以描述特征沿输入路径变化的问题,提出 representation holonomy(表征和乐),用于量化特征沿输入空间闭环平行移动后累积的“扭转”,以揭示点式相似性未捕捉的几何结构。 估计流程先通过全局白化固定规范,再利用共享子空间与仅允许旋转的 Procrustes 对齐局部邻域,最后将结果嵌回完整特征空间。作者报告证明了该统计量对正交变换的不变性,以及白化后对仿射变换的不变性;同时给出仿射层的线性零基准,并说明和乐在小半径极限下趋于零。具体成立条件、估计误差和计算开销尚未验证。 作者报告,在所考察的训练设置中,和乐随闭环半径与网络深度变化,能够区分 CKA 下表现相似的模型,与对抗及扰动鲁棒性相关,并可追踪训练中表征形成与稳定的过程。摘要未提供数据集、模型、样本规模、效应量及具体评估协议;实验协议、消融及统计信息尚未验证,相关性也不等于因果解释或独立预测能力。 平台推测(待验证):其可迁移之处是表征诊断方法,而非已验证的 BCI 解码算法。假设 EEG 输入中能构造保持任务语义的小闭环,可比较解码器对局部扰动的表征路径依赖;需改造输入扰动与邻域定义,并核对白化及子空间估计在低信噪比、通道相关和小样本条件下的稳定性。一个可证伪的小实验是在固定被试内划分下,对同一 EEG 任务的不同训练模型比较 CKA、和乐与独立噪声扰动下的性能下降,检验和乐是否提供额外诊断信息。已有 EEG 相关工作尚未检索确认。
该研究提供了补充 CKA、SVCCA 点式相似性分析的路径依赖诊断量,值得核对其规范不变性条件及与鲁棒性的相关证据,但尚不能据此认定其具有预测能力或适用于 EEG。
来源:OpenReview · Representation learning · openreview.net