StateWise：从噪声感知到状态校准的 MLLM 条件引导，用于统一生成

基于摘要分析。StateWise 研究图像生成与编辑中，预训练多模态大语言模型（MLLM）如何随扩散去噪过程动态调整条件引导。其核心贡献是让 MLLM 识别当前潜变量的实际噪声状态，并据此校准每一步提供给扩散生成器的条件，而非在整个采样过程中复用固定条件。 机制上，作者指出，有限步采样时的实际潜变量状态可能偏离输入时间步所对应的预期状态。StateWise 直接读取生成器原生 VAE 空间中的含噪潜变量，该路径不使用辅助视觉编码器。训练时保持输入时间步固定，同时改变潜变量的噪声水平，使 MLLM 学习感知噪声状态，并估计实际状态比预期更嘈杂或更干净的程度；这些估计用于逐步调整生成条件。另有一项约束，在观测噪声与预期噪声一致时抑制条件变化。具体损失形式、条件更新方式及训练规模尚未验证。 作者报告，在仅使用公开训练数据的设置下，StateWise 在 GenEval 上取得 0.90、在 GenEval2 上取得 77.4，并具有竞争性的图像编辑表现。摘要未说明这些分数的具体统计口径、采样配置、对照基线或图像编辑指标，不能据此判断提升幅度或不同指标间的可比性。实验协议、消融及统计信息尚未验证；代码为计划公开，不能视为已可获取。 平台推测（待验证）：若用于条件 EEG 扩散生成，可检验的假设是，实际噪声状态相对名义时间步的偏差也可能影响条件引导。可尝试复用噪声状态估计与逐步条件校准思想，但需将图像 VAE 表征和 MLLM 读取模块改造为适配多通道时序信号的模块，并构建可控噪声训练样本。EEG 的低信噪比、通道差异、跨被试分布变化与小数据规模，可能使状态估计混淆生理变化和扩散噪声。一个小规模检验是在同一数据划分、训练预算和采样步数下，比较固定条件、仅依赖时间步的动态条件与状态校准条件，并检查生成信号的频谱和跨通道结构。该建议不是原论文结果，不能推导为 BCI 解码收益；已有 EEG 相关工作尚未检索确认。