跳到正文
OpenReview · Representation learning· Eleftherios Tsonis; Xi WANG; Vicky Kalogeiton·· 2026-06-03精选AI 评分72

图像无法言说之处:语言引导的嗅觉表征学习

What Images Cannot Say: Language-Guided Olfactory Representation Learning

AI 导读

基于摘要分析。本文研究视觉场景与电子鼻信号之间的跨模态对齐:气味不仅取决于可见物体,也受到难以从像素直接识别的环境因素影响。作者提出 SCENT,以语言作为视觉与嗅觉之间的语义桥梁,学习同时对齐图像和文本的电子鼻表征。 机制上,SCENT 利用 Vision-Language Models(VLMs)生成场景描述,涵盖物体、环境背景及视觉场景所暗示的可能气味线索;随后训练气味编码器,将电子鼻信号映射到共享嵌入空间。方法还引入语言引导的潜变量分解,用于区分物体特定气味与环境背景的贡献。这里的气味描述来自视觉语义推断,不应等同于独立测得的气味真值;其准确性及对表征学习的影响需要进一步核对。 作者报告,在 New York Smells 数据集上,SCENT 相较仅使用视觉的基线改善了跨模态检索,并在 smell-to-image 与 smell-to-text 任务上达到作者所称的最先进性能;作者还报告,所得表征具有可解释性,可用于复杂气味混合物的解耦。摘要未提供具体指标、数据划分、基线配置或显著性检验信息,因此这些结果尚不能作定量比较。损失函数、潜变量分解约束、VLM 配置、实验协议、消融及统计信息尚未验证。 本研究的主要对象是电子鼻与视觉、语言的多模态学习,并非 EEG 或 BCI。平台推测(待验证):若 EEG 任务具有可靠且不由目标标签反向构造的刺激语义描述,可考察语言桥接是否有助于信号与刺激表征对齐;但电子鼻中的“物体—环境”分解不能直接视为 EEG 的神经活动—噪声分解。迁移需改造信号编码器与分解约束,低信噪比、跨被试差异、通道变化及小样本可能使模型主要依赖文本先验。可在固定跨被试划分下比较真实描述、打乱描述与无语言引导的检索表现,以检验增益是否确实依赖语义对应;相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是以语言补充图像不可直接观测的环境语义,并据此分解电子鼻表征的机制;其检索增益与气味解耦效果仍需结合全文协议、消融及统计信息核验。

来源:OpenReview · Representation learning · openreview.net