跳到正文
arXiv · 多模态与生成机制· SeungJu Cha; Ye-Chan Kim; Kwanyoung Lee; Dong-Jin Kim·· 14 小时前精选AI 评分74

不止于主体:捕捉视觉叙事中自适应的场景特定变化

Not Just a Subject: Capturing Adaptive Scene-Specific Variance for Visual Storytelling

AI 导读

基于摘要分析。该研究面向视觉叙事中的连贯图像序列生成,提出无需训练的 EOS-Story,旨在同时保持主体身份一致性并适应不同场景,缓解仅强调身份保留所带来的语义错位与结构僵化。 在文本空间,方法将叙事拆分为身份与场景子提示,以减少信息稀释;针对拆分后场景提示无法获取外观线索的问题,Cross-Contextual Bridging 将短语级外观残差以软注入方式加入场景的 <EOS> 嵌入。摘要未给出残差的具体计算形式与注入强度设置。 在视觉空间,作者认为身份参考与场景主体之间的尺度不匹配,会导致少量身份 token 被反复迁移并产生结构伪影。为此,Adaptive Identity Preservation 通过 Identity Anchoring 将身份特征锚定到场景特定尺度,再利用 Identity-Aware Self-Attention 整合这些特征。其具体实现及与基础扩散模型的接口尚未验证。 评估方面,作者在 Consistory+ 基础上加入多样取景情境,形成 Consistory+_+,用于考察不同空间构图下的表现。作者报告 EOS-Story 在这两个基准上取得有竞争力或更优的表现,但摘要未提供具体指标、数值、对照方法与评估协议,尚不能据此判断改善幅度及适用边界。实验协议、消融及统计信息尚未验证。 该工作的主要研究对象是文本到图像的视觉叙事,并非 EEG 或 BCI。摘要未提供与神经信号建模的具体对应关系,因此不据此推导 BCI 有效性或复现实验建议。复现还需核对所用基础模型、提示拆分流程、特征尺度对齐方式及扩展基准的构建规则。

阅读价值

值得关注其将身份一致性与场景适应拆分处理的机制,以及针对构图变化扩展评估的思路,但性能优势与各模块贡献仍需结合全文核对。

来源:arXiv · 多模态与生成机制 · arxiv.org