跳到正文
OpenReview · Representation learning· Yibing Wei; Sudeep Katakol; Manuel Brack; Jinhong Lin; Haoyue Bai; Yu-Teng Li; Richard Zhang; Eli Shechtman; Hareesh Ravi; Ajinkya Kale·· 26 天前精选AI 评分75

迈向文本引导的属性解耦多模态表征学习

Towards Text-Guided Attribute-Disentangled Multimodal Representation Learning

AI 导读

基于摘要分析。该研究针对视觉多模态嵌入将对象、风格、背景等因素纠缠于全局表征、难以支持属性级检索与可控编辑的问题,提出 Queryable Attribute Representation Extraction(QARE)任务,并提供 QARE-Bench 与免训练方法 TF-QARE。 机制与评估:QARE 要求生成仅对查询属性敏感的嵌入。TF-QARE 使用冻结的 VLM,通过结构化提示引导其生成回复,再对回复 token 的隐状态进行池化,提取属性特异特征。其核心路径是利用文本查询与生成过程选择表征关注的属性,而非为每个属性另行训练模型。QARE-Bench 包含合成组合与具有挑战性的真实世界数据;作者称其为首个面向 QARE 的基准。 作者报告,在 QARE-Bench、多个 VLM 骨干的评估背景下,TF-QARE 的零样本表现显著优于 VLM2Vec 等微调方法。摘要未给出具体指标、分数、数据规模、划分、提示模板及池化细节,实验协议、消融及统计信息尚未验证;不能据此判断属性选择能力是否在其他数据分布下成立。 平台推测(待验证):其潜在可复用之处是“查询条件化的属性提取”,而非直接可用的 EEG 编码器。假设已有能够接收 EEG 表征并按文本查询生成回复的多模态模型,可考察该机制能否提取任务相关因素、降低被试或会话因素干扰;但原方法依赖视觉语言模型的既有能力,迁移需要适配 EEG 输入及验证属性监督。低信噪比、小数据与通道变化可能使回复特征主要反映语言先验,而非神经信号。一个可证伪的小实验是在固定被试隔离划分下,对同一 EEG 输入改变属性查询,比较查询相关标签与非目标属性的可解码性,并设置打乱 EEG 输入的对照。上述均非论文已验证结果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过结构化提示与回复 token 隐状态池化提取属性特异表征的免训练机制,以及 QARE-Bench 对属性解耦的评估方式;作者报告的优势目前仅限所述视觉多模态基准,尚不能推及 EEG/BCI。

来源:OpenReview · Representation learning · openreview.net