通过无监督学习将表示空间分解为可解释子空间

基于摘要分析。本文研究神经网络的高维内部表示是否将不同信息组织在可分离的子空间中，并提出无监督方法 neighbor distance minimization（NDM），用于寻找具有可解释性的非基底对齐子空间。主要研究对象是模型内部表示及其计算回路，而非 EEG 或 BCI 信号。 机制方面，NDM 通过邻居距离最小化这一训练目标学习子空间，不要求子空间与原始表示的坐标基对齐。摘要未提供邻居定义、距离度量、子空间参数化、维度选择及具体优化方式，因此尚不能据此还原算法或损失形式。 作者报告，定性分析中所得子空间在许多情况下具有可解释性，同一子空间在不同输入上编码的信息倾向于对应同一抽象概念，因而类似模型使用的“变量”。作者还报告，在 GPT-2 已知回路上的定量实验显示，子空间与回路变量存在较强联系；在 2B 规模模型上，作者通过识别分别介导上下文知识与参数知识路由的子空间，提供了可扩展性证据。上述结果的具体指标、对照基线、数据划分、消融及统计信息尚未验证，也不能仅凭这些描述认定子空间具有稳定的因果解释。 平台推测（待验证）：若 EEG 模型的隐藏表示中存在可分离的任务与干扰因素，NDM 或可用于检查任务信息是否与被试、会话因素混合。可复用的是隐藏表示的无监督子空间分析思路，需明确 EEG 表示的采样单位、邻居定义及距离度量；低信噪比、通道差异和小数据可能使邻域主要反映噪声或被试身份。一个可检验的小实验是在固定 EEG 编码器上无监督提取子空间，再用独立留出数据检验任务与被试信息的可分离性，并与同维随机子空间比较。此方向尚未检索确认已有 EEG 相关工作，不构成已验证的 BCI 效果。