跳到正文
OpenReview · Representation learning· Ioannis Athanasiadis; Anmar Karmush; Michael Felsberg·· 2025-09-18精选AI 评分73

通过不变性感知功能潜在对齐进行模型拼接

Model Stitching by Invariance-aware Functional Latent Alignment

AI 导读

基于摘要分析。该研究关注如何判断独立训练的深度学习模型是否学习了相似的输入—输出关系,提出不变性感知的 Functional Latent Alignment(I-FuLA)模型拼接设置,以减少将表征兼容性误判为功能相似性的风险。 传统模型拼接通过仿射变换对齐两个模型,使拼接后的模型能够完成任务。摘要指出,即使模型依赖不同的信息线索,其表征仍可能兼容,因此拼接成功不足以直接说明功能相似。作者据此提出同时考察前向与后向兼容性的两项要求,并将不变性感知设置与 FuLA 结合。具体不变性的定义、双向兼容性的计算方式、对齐目标及训练流程尚未验证。 作者报告,在涵盖卷积架构和 transformer 架构的实验中,不变性感知的拼接设置能提供更有意义的功能相似性度量;在所考察的卷积模型设置中,I-FuLA 表现最优。摘要未提供数据集、评价指标、数值、数据划分或具体对照,故这一结论仅能限定在作者描述的实验范围内;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 用途是诊断模型究竟依赖相近的任务信息,还是仅具有可对齐的表征,而非直接提升解码性能。迁移假设要求明确 EEG 任务中的目标不变性,并核对跨模型配对输入及对齐训练所需监督。可复用的是拼接与双向兼容性的评估思路;需改造的是 EEG 编码器接口和信号扰动定义。低信噪比、被试差异、通道配置及小样本可能使拼接失败与真实功能差异难以区分。可先在固定通道、固定被试内划分下,比较依赖不同受控线索的 EEG 解码器,检验该方法能否比普通仿射拼接更好地区分线索依赖;前提是取得全文并确认其操作定义。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究针对模型拼接中“表征可兼容不等于功能相似”的评估混淆提出双向兼容性要求,值得核对其不变性约束如何区分模型依赖的信息线索,但对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net