跳到正文
arXiv · 泛化与分布偏移· Chuyang Ye; Qinting Jiang; Jingyan Jiang·· 14 小时前精选AI 评分75

SenseAlign:在测试时通过语言理解视觉与触觉

SenseAlign: Understanding Vision and Touch through Language at Test Time

AI 导读

基于摘要分析。本文研究视觉—触觉—语言模型在光照、接触质量或传感器硬件变化下的物体与材料识别问题,提出 SenseAlign:以类别文本嵌入为共同语义参照,在无标签测试阶段调整模态权重并校正特征,同时冻结全部编码器。 核心机制包括两个模块。Alignment Trust 根据各模态对共同预测类别的支持程度分配权重;Anchor Realignment 利用相同的类别文本嵌入拟合共享特征校正,使预测类别与竞争类别更易区分。两者使用同一份无标签历史观测。作者报告,累积观测与候选类别文本嵌入的比较能够揭示单纯置信度可能遗漏的模态可靠性差异,而利用竞争类别细化特征可带来超出单纯几何对齐的识别改善。其方法要点是把模态加权与特征校正建立在统一语义参照上,而非仅依赖各模态自身的置信度。 作者报告,在多个数据集的自然分布偏移与受控扰动条件下取得较强识别表现;摘要未列出数据集名称、样本规模、具体指标、对照基线及数值,尚不能判断收益大小或适用边界。历史观测的更新方式、特征校正的具体形式、测试样本使用顺序、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 与另一模态已能映射到具有明确类别语义的共同文本空间,可假设这套机制有助于降低不可靠模态对融合预测的干扰。可复用的是语义参照驱动的可靠性估计与特征校正框架;需改造的是 EEG 编码及其文本对齐方式。原方法依赖可用的类别文本嵌入与累积无标签观测,不能直接套用于缺乏语义对齐的 EEG 特征。低信噪比、跨被试或通道变化可能使共同预测本身出错,并通过历史累积强化错误。一个可证伪的小实验是在已有语义对齐的 EEG 多模态系统上,固定编码器,比较无自适应、仅模态加权与完整方法在单模态受扰时的表现,并核对无扰动条件下是否退化。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其利用类别文本嵌入同时估计模态可靠性与校正特征的测试时自适应机制,但摘要未提供量化结果,其对 EEG 多模态识别的适用性尚未验证。

来源:arXiv · 泛化与分布偏移 · arxiv.org