探索神经模型的潜在空间动力学
Navigating the Latent Space Dynamics of Neural Models
基于摘要分析。本文研究神经模型潜在表示的动力学性质,将模型解释为作用于潜在流形的动力系统,提出以潜在向量场作为分析网络及数据的表征,而非仅考察静态嵌入。 核心机制是迭代应用自编码器的编码—解码映射,从中导出模型隐式定义的潜在向量场,无需额外训练。作者报告,标准训练过程引入的归纳偏置会使该向量场中出现吸引子,并据此分析训练过程中的泛化与记忆状态、在不提供输入数据的条件下从吸引子提取参数中编码的先验知识,以及依据样本在向量场中的轨迹识别分布外样本。作者还报告在视觉基础模型上进行了验证,但摘要未给出模型名称、数据集、对照基线或量化结果。 这一工作的主要对象是自编码器及视觉基础模型的表示分析,不是 EEG/BCI 解码。向量场的具体定义、迭代收敛条件、吸引子的提取方式,以及视觉基础模型如何满足所需映射结构,均需全文核对;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 自编码器具备可反复迭代的编码—解码映射,可检验轨迹特征是否有助于识别跨被试或跨会话分布偏移。可复用的是向量场与吸引子分析思路,需适配 EEG 的时间结构、通道配置及归一化;低信噪比、小数据训练或重建偏差可能使吸引子主要反映伪迹或被试特征,而非任务信息。一个可证伪的小实验是固定已训练的 EEG 自编码器,在明确的跨会话留出协议下,对比分布外检测中的轨迹特征与重建误差,并检查增益是否稳定。相关 EEG 工作尚未检索确认。
值得核对其如何从既有编码—解码映射构造无需额外训练的潜在向量场,并利用吸引子与轨迹分析记忆、泛化及分布外样本;其对 EEG 模型的适用性尚未验证。
来源:OpenReview · State space models · openreview.net