SRTD:用于可解释表征拓扑比较的对称散度
SRTD: A Symmetric Divergence for Interpretable Comparison of Representation Topology
基于摘要分析。本文研究神经网络表征点云之间的拓扑差异比较,针对 Representation Topology Divergence(RTD)双向计算可能产生显著不同数值、简单取平均缺乏清晰理论依据与可解释性的问题,提出 Symmetric Representation Topology Divergence(SRTD)及轻量版本 SRTD-lite。主要研究对象是通用表征比较,并以 LLM 表征空间为应用场景,不是 EEG 或 BCI 方法。 机制与创新:作者讨论 RTD 与其对称版本的互补性,并研究 SRTD 和 SRTD-lite 的数学性质。摘要还提及较少被探索的 Max-RTD,但未给出其与新方法的具体关系。SRTD 的定义、对称化构造、拓扑计算流程及 SRTD-lite 的简化方式尚未验证;不能将其理解为对双向 RTD 简单取平均。CKA 在摘要中作为表征比较的参照被提及,尚不能确认是否纳入实验基线。 结果与证据边界:作者报告,在合成数据和真实数据实验中,SRTD 与 SRTD-lite 相较单向散度方法具有更好的计算效率和准确性;用于比较不同 LLM 的表征空间时,能够区分不同来源的模型。摘要未提供数据集名称、模型名单、准确性的具体定义、计时条件或数值,也未明确“不同来源”的判定标准。实验协议、消融及统计信息尚未验证,复现还需核对点云对应关系、样本规模、距离度量及实现条件。 平台推测(待验证):若 EEG 编码器的输出可组织为具有对应样本的表征点云,SRTD 或可辅助分析跨被试、跨会话表征差异,但拓扑差异不等于解码性能差异。可复用的是表征比较指标,需适配的是试次对应、通道差异与表征归一化;低信噪比、小样本及被试差异可能使比较结果不稳定。一个可证伪的小实验是固定 EEG 编码器与数据划分,对相同试次施加不同强度的噪声扰动,比较 SRTD、双向平均 RTD 与 CKA 的稳定性及其与解码性能变化的关系。已有 EEG 相关工作尚未检索确认。
值得阅读的具体原因是其针对 RTD 双向结果不一致及简单平均的解释性问题提出 SRTD 与 SRTD-lite,可用于核对表征拓扑比较的对称化依据;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net