通过解耦多模态表示实现视觉艺术图像描述中的 VAD 情绪控制

基于摘要分析。本文研究视觉艺术图像描述生成中的连续情绪控制，而非 EEG 解码或 BCI：作者利用多模态表示学习与跨模态推断，将效价、唤醒度和支配度（VAD）显式纳入解耦表示，以调节生成文本的情绪表达。 核心机制是使用多模态变分自编码器，将视觉与文本输入编码到连续的共享向量空间，再通过辅助调优使该表示显式包含可解耦的 VAD 维度。推理时，视觉输入先映射为向量，再生成文本；通过改变向量中的 VAD 强度，控制描述的情绪。相较于以基本情绪类别控制语言表达的思路，本文关注连续情绪维度，但具体损失形式、解耦约束及跨模态推断实现尚未验证。 训练材料包括带有艺术图像情绪描述的 ArtEmis，以及为文本或视觉艺术标注 VAD 分数的其他数据集。作者报告，在该训练背景下，操纵表示中的 VAD 强度可使生成描述发生连续变化，并反映预期的情绪变化。摘要未提供量化指标、数据划分、对照基线或人工评估结果，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可借鉴之处是将内容表示与连续情绪控制变量分离，而不是直接提供 EEG 情绪识别方法。若迁移至 EEG 条件文本生成，需要改造视觉编码端，并建立 EEG、文本与 VAD 之间的监督或配对关系；原有多模态潜在表示与文本生成模块是否可复用仍是假设。低信噪比、跨被试差异及小样本可能使 VAD 变量混入个体或采集条件信息。一个可检验的小实验是在具有文本及 VAD 标注的 EEG 数据上，固定跨被试划分，比较有无显式 VAD 解耦时的情绪可控性与内容保持能力。相关 EEG 工作尚未检索确认。