通过不变性感知模型拼接确立功能相似性的评估依据
Grounding Functional Similarity by Invariance-Aware Model Stitching
基于摘要分析。该研究关注独立训练的深度学习模型是否学到了相似的输入—输出关系,提出不变性感知模型拼接(invariance-aware model stitching),以前向—后向兼容性要求补充传统模型拼接的功能相似性评估。 传统模型拼接将功能相似性表述为表示的前向兼容性:两个模型的表示能否经对齐后完成给定任务。摘要指出,依赖不同信息线索的模型仍可能具有兼容表示,因此拼接成功不一定意味着模型在功能上相似。作者将这一问题归因于标准模型拼接无法感知模型的不变性,并通过分析关键拼接配置,研究前向与后向兼容性的关系。作者报告,该方法能够揭示此前被掩盖的功能差异;摘要未提供量化结果。 阅读正文时需重点核对:不变性与后向兼容性的数学定义、拼接配置及其约束,以及如何区分表示可对齐与信息依赖相近。具体模型、任务、数据集、拼接模块、优化目标、实验协议、消融及统计信息尚未验证,不能据此判断适用范围或计算成本。 平台推测(待验证):该思路可能用于检验 EEG 解码模型是否依赖相同信息,而不仅是能否通过表示对齐维持任务表现。可复用的是兼容性评估框架;需改造的是 EEG 中不变性与受控扰动的定义,并明确任务监督、配对输入及拼接训练所需数据。一个可证伪的小实验是假设两个模型分别依赖任务相关信号与人为注入的干扰线索,在相同数据划分下比较传统拼接和新框架能否区分这种依赖差异。低信噪比、通道变化、跨被试差异与小样本可能使兼容性估计不稳定,扰动也可能同时改变真实任务信息。上述实验仅为迁移假设,已有 EEG 相关工作尚未检索确认。
该研究针对模型拼接可能将依赖不同信息线索的模型误判为功能相似这一评估问题,引入前向—后向兼容性要求,值得核对其形式化定义及能否识别传统拼接掩盖的功能差异。
来源:OpenReview · Representation learning · openreview.net