用于可解释视觉—语言对齐的统一词汇表示

基于摘要分析。本文研究视觉—语言对齐中潜在特征及相似度分数难以解释的问题，提出 LexVLA，将图像与文本映射到统一词汇表示，使表示的各维对应样本与词表中词语的相似度，而不是仅在潜在空间中直接对齐。 机制上，LexVLA 使用 DINOv2 的偏局部视觉特征与 Llama 2 的上下文词汇预测能力，微调两个预训练单模态模型以实现跨模态对齐。针对缺少词汇表示真值监督及无意义词语被频繁误激活的问题，作者提出 overuse penalty（过度使用惩罚）。摘要未提供该惩罚的具体公式、词表构建方式及完整训练目标，尚不能判断各模块对可解释性和检索性能的独立贡献。 作者报告：在跨模态检索基准上，使用 CC-12M 训练的 LexVLA 优于在更大数据集（如 YFCC15M）上微调的基线，也优于在包含 CC-12M、规模为 1.1B 的数据上从头训练的基线。摘要未给出具体检索基准、指标、分数和数据划分；上述比较还涉及预训练模型与训练方式差异，不能仅据多模态训练数据规模归结为整体数据效率优势。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在可迁移点是以可读词汇维度构建跨模态接口，并抑制少数无意义维度的过度激活，而非现成的 EEG 解码方法。若用于具有语义刺激标注的 EEG—文本对齐，需替换视觉编码器、适配时序信号，并核对词汇监督与配对数据是否足够；低信噪比、跨被试差异及小数据可能使词汇激活不稳定，惩罚也可能抑制真实但高频的语义。可先在固定跨被试划分下，对比潜在特征对齐、词汇对齐及加入该惩罚后的检索表现与词汇稳定性。已有 EEG 相关工作尚未检索确认，原论文结果不构成 BCI 有效性的证据。