跳到正文
OpenReview · State space models· Rishik Vamshi Rohith Vempati; Eswar Venkata Sai Kadava; Konda Reddy Mopuri·· 2026-05-12精选AI 评分72

IMA & TMA:通过嵌入空间线性变换实现 VLMs 的高效测试时自适应

IMA & TMA: Efficient Test-Time Adaptation for VLMs via Linear Transformation in Embedding Space

AI 导读

基于摘要分析。本文研究视觉语言模型(VLMs)在测试分布偏移下的性能脆弱性,提出 Image Matrix Adapter(IMA)和 Text Matrix Adapter(TMA),通过嵌入空间中的线性校正实现逐样本测试时自适应,而非依赖提示调优或输入空间优化。 核心机制是利用单个测试样本恢复图像与文本的跨模态对齐。作者称,该设计降低了内存与计算需求,且适应成本不依赖目标类别数量;这一表述针对适应过程,不能据此推断完整分类推理成本也与类别数无关。摘要未交代线性变换的参数化方式、优化目标、更新步骤及所需监督信息,具体机制尚待正文核对。 作者报告,在多种分布外(OOD)基准和跨数据集评估中,两种方法取得了有竞争力的 Accuracy,并比先进的提示式适应方法更高效。摘要未给出数据集名称、数据划分、基线配置、准确率数值或计算与内存开销测量条件,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 系统已有可比较的信号—文本共享嵌入,这种嵌入级轻量校正可能为跨被试或跨会话的对齐偏移提供可检验思路。可复用部分是线性适配器,需改造部分是 EEG 编码接口与适应目标;其依赖的跨模态嵌入结构和测试时监督条件仍需确认。低信噪比、通道差异和小数据可能使单样本校正不稳定,且原论文的视觉任务结果不构成 EEG/BCI 有效性证据。一个可证伪的小实验是在固定 EEG 编码器和跨会话划分下,对比不适应与嵌入线性校正的 Accuracy、适应耗时及性能退化比例。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其在嵌入空间进行单样本线性校正的实现,以及适应成本不随目标类别数增长的适用边界;摘要报告了效率优势,但具体实验协议和量化收益尚未验证。

来源:OpenReview · State space models · openreview.net