表示学习中的统计可辨识性与结构可辨识性
Statistical and structural identifiability in representation learning
基于摘要分析。本文研究表示学习中内部表示为何具有稳定性,将其区分为统计可辨识性(不同运行间表示的一致性)与结构可辨识性(表示与未观测真实因素的对齐),并提出允许误差容限 ε、与模型无关的近似可辨识性定义。 作者针对具有非线性解码器的模型证明统计 ε-近似可辨识性,将既有理论从 GPT 等模型的末层表示扩展至包括(掩码)自编码器(MAEs)和监督学习模型在内的一类模型的中间表示。摘要指出,较弱假设对应较弱的可辨识性,而 independent components analysis(ICA,独立成分分析)可消除其中相当一部分剩余线性歧义;在对数据生成过程增加假设后,统计可辨识性可进一步延伸至结构可辨识性,从而形成对潜在表示进行 ICA 后处理的解耦方案。具体假设、误差度量及理论边界尚未验证。 作者报告,在合成基准上,普通自编码器结合该后处理取得最先进的解耦表现;在细胞显微图像领域的基础模型规模 MAE 上,该方法可分离生物学变异与技术批次效应,并改善下游泛化。摘要未提供基准名称、数据划分、对照方法或数值,实验协议、消融及统计信息尚未验证;这些结果不构成 EEG 或 BCI 有效性的证据。 平台推测(待验证):若 EEG 编码器的潜在表示满足相关可辨识性与 ICA 假设,该后处理可能有助于研究表示稳定性,以及任务因素与被试或会话因素的分离。可复用部分是潜在空间 ICA,需另行确定 EEG 表征、因素标注和独立性假设;低信噪比、相关神经源、通道变化及小样本可能使分解不稳定。一个可证伪的小实验是在固定跨会话划分下,对多个随机种子训练的同一 EEG 编码器比较 ICA 前后的表示对齐稳定性与下游任务表现,并仅用训练集拟合后处理。已有 EEG 相关工作尚未检索确认。
该研究将跨运行的表示一致性与对真实潜在因素的对齐明确区分,并提出可核对的 ICA 后处理路径;其理论适用假设及对 EEG 表示的可迁移性尚待验证。
来源:OpenReview · Representation learning · openreview.net