用于可解释视觉—语言对齐的统一词汇表示

基于摘要分析。本文研究视觉—语言对齐中潜在特征及相似度分数难以解释的问题，提出 LexVLA：将图像与文本映射到统一的词汇表示，使表示中的各元素对应样本与词表中单词的相似度，以提供词级可解释性。研究对象是图像与文本的跨模态对齐，并非 EEG 或 BCI。 机制上，LexVLA 使用 DINOv2 的偏局部视觉特征，以及 Llama 2 的上下文词汇预测能力，对两个预训练单模态模型进行多模态微调。针对词汇表示缺乏直接真值监督、容易错误激活词语的问题，作者提出 overuse penalty，抑制无意义词语被频繁激活。摘要未给出该惩罚项的公式、词表构建方式或具体微调范围，尚不能据此确定训练细节。 作者报告，在跨模态检索基准上，使用 CC-12M 训练的 LexVLA 优于在更大数据集（如 YFCC15M）上微调的基线，也优于使用更大规模数据从头训练的基线，后者包含使用 1.1B 数据且训练数据涵盖 CC-12M 的设置。摘要未列出具体基准名称、检索指标与分数；数据规模不同也不能单独证明方法效率优势，仍需核对模型配置、数据组成和评估协议。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但其可运行性与复现条件尚未核验。 平台推测（待验证）：若 EEG—文本任务具有可靠的语义配对监督，共享词汇表示可作为可解释对齐的候选接口，overuse penalty 可用于检验高频词塌缩问题；需改造 EEG 编码与词汇投影模块，不能直接假定视觉特征机制适用。低信噪比、跨被试及通道差异、小样本监督可能使词汇激活不稳定。一个可检验的小实验是在固定跨被试划分与训练数据下，对比潜在空间对齐、词汇对齐及加入该惩罚项的词汇对齐，同时检查检索表现与无意义高频词激活是否改善。已有 EEG 相关工作尚未检索确认。