利用代数拓扑刻画神经网络嵌入空间的演化
On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology
基于摘要分析。本文研究训练良好的深度神经网络中,特征嵌入空间的拓扑结构如何随层深变化,并尝试利用这种变化衡量架构的泛化能力及预训练模型的迁移适用性。研究对象是多种深度架构与真实图像数据,不是 EEG 或 BCI 模型。 方法以 Betti numbers 描述嵌入空间的拓扑复杂度,采用 Cubical homology,将既有基于浅层全连接网络与单纯复形的分析扩展到更广泛的深度架构。作者报告,随着网络加深,复杂数据的表征趋于拓扑简化,Betti numbers 达到最低可能值;拓扑复杂度的衰减速率可用于量化架构选择与泛化能力之间的关系。摘要未说明嵌入如何构造成适合计算 Cubical homology 的对象,也未给出该指标的具体计算定义。 作者还报告了若干拓扑不变性:同一架构在相似数据集上的表现、同一数据集在不同深度架构中的嵌入空间,以及输入分辨率或尺寸变化、数据子采样下的嵌入空间。针对下游分类迁移学习中的预训练模型排序,作者报告,所提指标相较既有方法,与模型经微调实际可达准确率的相关性更好。具体数据集、架构、对照方法、相关性数值、微调协议、消融及统计信息尚未验证,因此尚不能判断这些性质的适用范围或其是否具有因果解释。 平台推测(待验证):若该指标能稳定刻画表征简化,可能用于探索 EEG 预训练模型的迁移排序;可复用的是逐层拓扑测量与排序思路,需改造的是时序嵌入的表示和拓扑构建方式。低信噪比、通道配置差异及小样本可能使拓扑估计不稳定。一个可检验的假设是:在统一通道与微调协议下,该指标能预测不同预训练模型的跨被试分类准确率排序;可先在固定 EEG 数据划分上检验排序相关性及子采样稳定性。相关 EEG 工作尚未检索确认,原图像实验不构成 BCI 有效性的证据。
值得核对的是,作者以 Cubical homology 衡量逐层表征的拓扑简化,并将其用于预训练模型迁移排序,但其与微调准确率的相关性及适用边界仍需全文实验验证。
来源:OpenReview · State space models · openreview.net