跳到正文
OpenReview · Representation learning· Kieran A. Murphy; Sam Dillavou; Dani S. Bassett·· 2024-01-01精选AI 评分77

使用 VAE 集成比较表征空间的信息内容以研究解耦

Comparing information content of representation spaces for disentanglement with VAE ensembles

AI 导读

基于摘要分析。该研究关注表征解耦中信息如何分布于不同潜在子空间,提出跨多次重复训练的 VAE 集合比较表征通道,而非仅用模型级指标评价解耦。核心贡献是考虑嵌入的概率分布性质,以信息论方式刻画子空间之间的相似性,并将该分析用于 VAE 集成学习。 方法上,作者将表征子空间视为对数据实施软聚类的通信信道,推广两种经典的聚类分配相似性信息论度量;摘要未给出这两种度量的名称与公式。为降低估计负担,作者依据子空间区分数据样本的能力建立“指纹”,据此识别不同训练运行中重复出现或具有互补信息的子空间。该流程完全无监督,但仍依赖可供比较的数据样本及 VAE 的概率表征。 作者报告,在合成与自然数据集上的 VAE 集合中,该方法识别出信息片段空间的“热点”,即多次训练中反复出现的近乎相同的表征子空间,且这一现象在正则化增强时尤为明显。作者还报告,利用该方法进行 VAE 集成可提高一组弱学习器的信息内容。具体数据集、正则化设置、信息量指标、对照方法和提升幅度均未在摘要中列明,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若用于 EEG 表征分析,这种机制可能帮助区分重复训练中稳定出现的潜在信息与冗余通道,但不意味着稳定片段就是任务相关的神经信息。可复用的是子空间指纹与相似性估计;需核对并改造 EEG 输入、概率编码及跨被试样本对应方式。低信噪比、通道差异和小数据可能使稳定片段主要反映伪迹或个体特征。一个可检验的小实验是在固定被试内数据划分上重复训练 VAE,仅用训练集建立子空间指纹,再在留出数据上检验热点的稳定性及其与任务标签、伪迹指标的关联。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将概率表征子空间作为软聚类通信信道进行比较的机制,可用于分析重复训练中信息片段的稳定性与互补性,但其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net