跳到正文
OpenReview · State space models· Eunwoo Heo; Kyeongkook Seo; Jaejun Yoo·· 2026-05-01精选AI 评分76

线性探测遗漏了什么:面向权重空间学习的多视角探测

What Linear Probes Miss: Multi-View Probing for Weight-Space Learning

AI 导读

基于摘要分析。本文研究如何直接从模型参数识别和分析缺少充分文档或元数据的模型检查点,同时避免处理完整权重的高昂计算成本。作者提出 MVProbe,将一阶探测信号与感知交互的 Gram-based 视角结合,以表征单视角探测难以编码的权重行—列高阶相关结构。 机制上,摘要将现有探测方法描述为通过可学习探测向量提取置换等变表征,但其单视角设计主要捕获一阶结构。MVProbe 引入多视角表征,并分析不同探测阶数的尺度规律,据此设计标准化与融合策略,目标是平衡各分支的贡献。具体探测运算、Gram 构造、损失函数、监督方式及计算复杂度尚未验证,不能仅凭摘要判断额外视角的成本或收益来源。 作者报告,在 Model Jungle benchmark 上,MVProbe 在 ResNet、SupViT、MAE 和 DINO 等不同架构中均优于 ProbeX。摘要未提供具体任务、评价指标、数值、数据划分或训练规模,因此该结论仅能按上述基准与架构范围理解;实验协议、消融及统计信息尚未验证。复现前需核对检查点集合、输入权重的组织方式、跨架构处理方案,以及标准化和融合策略的实现细节。 平台推测(待验证):其潜在 EEG 对应关系是模型检查点的识别与分析,而非直接提升 EEG 解码。假设 EEG 模型库具有可对齐的权重结构及明确的模型级标签,可尝试复用多视角探测和尺度平衡机制,但需适配通道相关输入层与不同解码架构。低信噪比、被试差异、通道配置和小数据训练可能使权重表征更多反映训练条件,而非目标模型属性。一个可检验的小实验是在固定 EEG 解码架构的检查点集合上,以预先明确的模型级属性为目标,对比 MVProbe 与 ProbeX,并按训练被试来源隔离检查点以评估泛化;这属于迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其如何以 Gram-based 交互视角补足单视角权重探测,并核对尺度标准化与融合是否解释了相对 ProbeX 的改进;其对 EEG 模型检查点分析的价值尚未验证。

来源:OpenReview · State space models · openreview.net