跳到正文
OpenReview · State space models· Yuanhuiyi Lyu; Xu Zheng; Jiazhou Zhou; Lin Wang·· 2024-01-01精选AI 评分76

UniBind:以 LLM 增强的统一且均衡表征空间绑定所有模态

UniBind: LLM-Augmented Unified and Balanced Representation Space to Bind Them All

AI 导读

基于摘要分析。UniBind 研究图像、文本、音频、点云、热成像、视频和事件数据七种模态的统一表征学习,试图缓解以图像为中心的对齐方式造成的模态不均衡,以及仅用类别名称构造文本嵌入时语义表达不足的问题。核心贡献是借助 LLM 与多模态 LLM 构建文本知识库,并以增强后的类别嵌入中心组织跨模态对齐。 方法分为三步:构建文本知识库;结合知识库和编码后的视觉嵌入,自适应建立 LLM 增强的类别嵌入中心;通过对比学习将各模态嵌入对齐到这些中心。作者将其定位为模态无关的对齐目标,并称可应用于 CLIP-style 模型。其与 ImageBind 的主要区别是对齐中心的构造方式,而非继续将图像作为唯一中心;具体损失形式、中心更新及各编码器训练策略尚未验证。 作者报告,在零样本识别评估中,相较既有方法平均提升 6.36%;在多模态微调设置下,ImageNet 上提升 6.75%,并减少 90% 的可学习参数。摘要未明确这些百分比对应的指标定义、相对提升或百分点口径,也未完整说明比较基线、平均方式与参数统计范围,因此不能直接与其他协议的结果比较。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具有稳定的类别语义和可配对的刺激信息,类别语义中心可能为 EEG—文本或 EEG—图像对齐提供共享目标。可复用的是知识库与中心对齐思路,需另行适配 EEG 编码器、通道布局和时序输入;低信噪比、跨被试差异、小样本及类别文本无法表达神经状态差异均可能使其失效。一个可证伪的小实验是在固定 EEG 编码器、数据划分与训练预算下,对比类别名称嵌入和 LLM 增强中心的跨被试识别表现。该假设不属于原论文已验证贡献,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以 LLM 增强类别嵌入中心替代图像中心对齐的机制,以及性能增益与可学习参数减少所对应的训练协议;其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net