稳定图像自回归建模的潜在空间:统一视角
Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective
基于摘要分析。本文研究图像生成中潜在空间与生成模型的适配问题,提出以潜在空间稳定性解释自回归模型与 Latent Diffusion Models(LDMs)、Mask Image Models(MIMs)的表现差异,并提出离散图像 tokenizer DiGIT。主要研究对象是图像理解与生成,而非 EEG 或 BCI。 核心机制:常见潜在空间生成方法使用 VQGAN 或 VAE 等重建式自编码器压缩像素,再学习潜在表示的分布。作者观察到,即使使用相同潜在空间,图像自回归模型仍显著落后于 LDMs 和 MIMs。DiGIT 对自监督学习模型的潜在特征执行 K-Means,将其转为离散 token,供 GPT-style 模型通过 next token prediction 进行建模。摘要未给出“稳定性”的具体定义、度量方式及其与生成质量之间的验证细节。 结果与证据边界:作者报告,使用 DiGIT 的图像自回归模型同时受益于图像理解和生成任务,并在扩大模型规模时取得明显改善;作者还声称其 GPT-style 图像自回归模型首次超过 LDMs。摘要未提供数据集、指标、具体分数、模型规模或对照配置,因此不能据此判断优势范围。实验协议、消融及统计信息尚未验证;摘要提供代码链接,但实现与复现条件尚未核验。 平台推测(待验证):可检验的迁移假设是,将 EEG 自监督特征聚类为离散 token,可能提供一种不同于重建式编码的序列建模接口。可复用的是特征聚类与 next token prediction 思路;需改造 EEG 特征编码、时间切片及 token 排列方式。该路径依赖特征表示质量和聚类样本覆盖,低信噪比、跨被试差异、通道变化及小数据可能使 token 主要编码噪声或被试身份。一个小实验是在固定跨被试划分下,仅用训练集拟合聚类,比较自监督特征与重建式特征离散化后、相同预测器的序列预测损失及下游表现。上述机制不等于已证实的 BCI 效果,相关 EEG 工作尚未检索确认。
值得核对 DiGIT 如何通过自监督特征的离散化改善图像自回归建模,以及作者报告的相对 LDMs 优势是否在可比训练与评估条件下成立;其 EEG 迁移价值尚未验证。
来源:OpenReview · State space models · openreview.net