跳到正文
arXiv · 表征与预训练· Zhen Li·· 2 天前精选AI 评分79

表征学习中的残差谱不稳定性

Residual spectral instabilities in representation learning

AI 导读

基于摘要分析。本文研究 VAE 中潜在自由度为何会逐次丢失,将逐维后验坍塌表述为部分坍塌状态附近的涨落理论,并用尚未被存活表征解释的残差信息,刻画潜变量重新激活及逐次坍塌的局部稳定性边界。 核心机制是将负证据下界视为有效自由能,通过二次展开构造高斯涨落理论,其中 Hessian 充当潜变量涨落的质量矩阵。作者推导指出,已坍塌方向构成不变涨落子空间,其精确质量谱可由条件残差算子表示;当解码器方差低于残差谱上边缘时,局部重新激活方向能够降低自由能,二者相等对应边缘稳定状态。在沿连续相连的解分支反向考察时,这一边界也给出逐次坍塌的局部判据。需注意,局部稳定性判据不等同于全局最优性或任意训练轨迹的保证。 作者报告,该判据在线性高斯 VAE 极限下恢复主成分阈值;数值延拓实验显示,潜在维度在这些谱边缘稳定位置附近逐次丢失,支持由残差信息控制的谱级联解释。摘要未提供具体数据、模型配置、数值误差及对照设置,实验协议、消融及统计信息尚未验证;条件残差算子的具体定义、推导所需假设和谱估计方法也需结合全文核对。 平台推测(待验证):若 EEG 的 VAE 表征出现潜变量失活,可尝试复用残差谱与局部稳定性分析,检验失活是否对应未解释信号结构的变化;但需先确认理论对所用似然、解码器方差与数据协方差结构是否适用。EEG 的低信噪比、通道相关性、被试差异和小样本可能使谱上边缘主要反映噪声而非任务相关信息。一个可证伪的小实验是在固定被试内数据划分与模型配置下扫描解码器方差,比较潜变量失活位置与估计残差谱边界是否一致,并检验重采样后的稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究将 VAE 逐维后验坍塌关联到条件残差算子的谱阈值,为诊断潜变量失活提供了可核对的局部稳定性判据,但其适用假设与 EEG 迁移价值尚待验证。

来源:arXiv · 表征与预训练 · arxiv.org