跳到正文
OpenReview · State space models· Chi-Hieu Pham; Saïd Ladjal; Alasdair Newson·· 2022-01-01精选AI 评分73

PCA-AE:用于组织生成网络潜空间的主成分分析自编码器

PCA-AE: Principal Component Analysis Autoencoder for Organising the Latent Space of Generative Networks

AI 导读

基于摘要分析。该研究针对自编码器与生成模型潜空间难以理解和控制的问题,提出 principal component analysis autoencoder(PCA-AE),旨在无监督条件下将数据的内在属性分离到不同潜变量,并按其对数据的重要性组织潜空间。主要研究对象是合成形状及生成模型中的视觉属性,而非 EEG 或 BCI。 核心机制是训练时逐步增加潜空间维度,并对潜编码施加协方差损失。作者称,这使潜变量按重要性递减排列,且各分量统计独立。摘要未给出重要性的定义、维度扩展日程或损失公式;协方差约束通常针对相关性,是否足以支持统计独立,需要结合正文中的分布假设和验证方式核对。 作者还介绍了面向强大预训练 GAN 的扩展。作者报告,在合成形状示例和一个 GAN 上,可在不访问标签的条件下分离头发色调、面部姿态及性别等属性,并与其他方法比较潜空间属性解耦能力。具体 GAN、数据集、对照方法、量化指标及训练与评估划分尚未验证,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 表征中的任务相关变化与其他变异能够由相对可分离的潜因素描述,渐进潜空间和协方差约束或可用于探索紧凑、可解释的无监督表征。可复用部分是潜维扩展策略与潜编码约束,需改造 EEG 编码器、解码器及重建目标,并另行定义潜变量的任务相关性;视觉属性解耦不等于 EEG 神经因素解耦。低信噪比、通道差异及小数据可能使模型优先编码伪迹或被试身份,而非任务信息。 一个可证伪的小实验是:在同一 EEG 数据划分、相同编码器和潜维预算下,对照普通自编码器、仅渐进扩维、仅协方差约束及两者结合,预训练不使用任务标签,再以冻结表征评估 Cross-subject 任务表现和被试身份可预测性。该实验仅为迁移假设的检验建议,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其渐进扩展潜空间与协方差损失如何实现属性排序和解耦,尤其需区分作者所称的统计独立与协方差约束实际支持的性质;EEG 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net