通过不变性感知的模型拼接确立功能相似性的依据
Grounding Functional Similarity by Invariance-Aware Model Stitching
基于摘要分析。本文研究独立训练的深度学习模型是否学到了相似的输入—输出关系,提出不变性感知的模型拼接(invariance-aware model stitching),以补充标准 model stitching 对模型不变性差异不敏感的问题。 标准 model stitching 将功能相似性表述为表征的前向兼容性:两个模型的表征能否经对齐后用于完成给定任务。摘要指出,即使模型依赖不同的信息线索,其表征仍可能兼容,因此拼接可用并不必然意味着功能相似。作者将这一问题归因于标准拼接未考虑模型的不变性,并引入前向—后向兼容性要求。作者报告,通过分析关键拼接配置,该框架能够揭示此前被遮蔽的功能差异。摘要未给出后向兼容性的精确定义、不变性的操作化方式、拼接映射约束、数据集或定量结果,实验协议、消融及统计信息尚未验证。 平台推测(待验证):这一评估思路可能用于检验 EEG 解码模型是否依赖相同的任务相关线索,而不只是表征能否相互对齐。该假设依赖任务标签及可控扰动下的数据结构;原文采用的监督形式与数据规模尚未验证。可复用的是以兼容性评估功能相似性的思路,需要改造的是 EEG 中任务保持扰动的定义及通道对应方式。低信噪比、跨被试差异、通道变化和小样本都可能使兼容性下降,且这种下降未必代表功能差异。一个可证伪的小实验是在固定被试内划分下,对同一 EEG 任务的两个独立训练模型施加预先验证的任务保持扰动,比较标准拼接与新判据是否对扰动响应差异给出一致判断;具体实施须先取得全文确认判据。已有 EEG 相关工作尚未检索确认。
该研究针对标准 model stitching 可能将依赖不同信息线索的模型误判为功能相似这一问题,引入前向—后向兼容性要求,值得核对其不变性约束如何改变相似性判断,但具体判据与实验支持尚待全文验证。
来源:OpenReview · Representation learning · openreview.net