跳到正文
OpenReview · State space models·· 2026-09-14精选AI 评分76

通过 M-space 实现文本到图像 Diffusion Transformers 的免训练连续属性控制

Unlocking Training-Free Continuous Attribute Control in Text-to-Image Diffusion Transformers via M-Space

AI 导读

基于摘要分析。本文研究预训练文本到图像 Diffusion Transformers(DiTs)能否直接利用内部条件表征,实现单个语义属性强度的连续调节。核心贡献是识别全局调制条件空间 M-space,并从配对文本提示词中提取属性方向,在不进行额外训练的情况下实现双向连续控制与多属性组合控制。 机制方面,M-space 中的共享条件表征用于生成各层的调制参数。作者构造仅在目标属性上不同的多组文本提示词,对其表征差分取平均,得到相应属性方向;沿该方向线性移动以调节属性强度,组合多个方向以同时操控多个属性。相较于训练低秩控制适配器或优化文本嵌入空间中的语义方向,该方法直接利用预训练 DiTs 的内部条件表征。摘要未提供方向归一化、移动幅度选择及多属性相互干扰的具体处理方式。 作者还引入 Self-Attention Map Blending(SAMB),用于编辑时保持与目标属性无关的内容;引入 Attention-Guided Modulation Routing(AGMR),用于实例级属性控制。两者的具体混合与路由规则尚未验证。作者报告,在文本到图像 DiTs 的定性与定量实验中,该免训练方法的连续属性控制性能与现有最先进方法相当;摘要未列出具体模型、数据集、指标、数值及对照设置,实验协议、消融及统计信息尚未验证。 本文主要研究对象是图像生成,而非 EEG 解码或 BCI。平台推测(待验证):对具备共享条件表征和逐层调制机制的 EEG 条件生成模型,配对条件的表征差分可能提供可复用的控制方向;但这依赖可对齐的条件配对,以及目标属性与被试、通道等因素能够被区分。可借鉴方向提取与线性操控思路,文本提示词配对和空间注意力路由则需重新设计。低信噪比、跨被试差异、通道变化及小数据可能使方向混入非目标因素。一个小规模可证伪实验是在固定被试与通道配置下,仅改变一种明确生成条件,检验输出是否随移动幅度单调变化,同时核对非目标信号特征是否保持稳定;这不是已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过配对提示词的条件表征差分提取可连续操控方向的免训练机制,但作者报告的对照性能及内容保持效果仍需结合全文实验协议核对。

来源:OpenReview · State space models · openreview.net