通过无监督学习将表征空间分解为可解释子空间
Decomposing Representation Space into Interpretable Subspaces with Unsupervised Learning
该研究关注神经模型内部表征的不同信息是否组织在独立子空间中,提出 neighbor distance minimization(NDM),以无监督方式学习不与原始坐标基轴对齐的子空间。基于摘要分析,其主要贡献是尝试将高维表征分解为具有一致抽象含义、类似模型内部“变量”的组成部分,而非提出 EEG 或 BCI 解码方法。 机制与证据:摘要将 NDM 描述为通过邻居距离最小化寻找子空间,但未给出距离定义、邻居构造、子空间维度选择及具体优化形式。作者报告,定性分析中许多子空间具有可解释性,且同一子空间在不同输入中倾向于编码相同抽象概念。作者还报告,在 GPT-2 已知电路上的定量实验显示,所得子空间与电路变量存在较强关联;另以区分介导上下文知识与参数知识路由的子空间,提供了扩展至 2B 规模模型的证据。摘要未提供具体指标、对照结果或不确定性,不能据此判断解释性的覆盖范围或方法优势。 复现需核对 NDM 的完整目标、表征提取位置、邻域构造规则,以及已知电路变量的匹配与评估方式。实验协议、消融及统计信息尚未验证,代码与计算需求也尚未验证。 平台推测(待验证):若 NDM 仅依赖模型激活及其邻域结构,可假设其用于分析 EEG 编码器是否将任务信息与被试、会话等因素编码于不同子空间;可复用的是子空间发现思路,需改造的是 EEG 表征采样、距离度量与时间结构处理。低信噪比、通道差异和小样本可能使邻域主要反映噪声或被试身份,而非任务机制。一个可检验的小实验是在固定 EEG 编码器上无标签拟合 NDM,再用独立留出数据检验各子空间对任务与被试信息的区分,并与同维随机子空间比较。已有 EEG 相关工作尚未检索确认,此设想不代表已验证的 BCI 收益。
NDM 提供了无监督寻找可解释子空间的具体机制方向,并以 GPT-2 已知电路检验子空间与电路变量的关联,值得核对其目标函数、稳定性与解释性评估协议,但其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net