用于可解释视觉—语言对齐的统一词汇表征

基于摘要分析。本文研究视觉—语言对齐中潜在特征及相似度分数难以解释的问题，提出 LexVLA，使图像与文本共享统一的词汇表征。该表征的每个维度对应样本与词表中一个词的相似度，以稀疏、可逐词解释的匹配替代直接的潜在特征对齐。 机制上，LexVLA 使用具有偏局部特征的 DINOv2 作为视觉模型，并利用 Llama 2 的上下文词汇预测能力构建语言侧表征。针对缺乏词汇表征真值监督、容易错误激活词汇的问题，作者提出 overuse penalty，抑制无意义词被虚假且频繁地激活。摘要称，两种预训练单模态模型可通过多模态数据微调实现对齐，无需复杂训练配置；具体映射结构、惩罚项形式、微调范围与稀疏性实现方式尚未验证。 作者报告，在跨模态检索基准上，使用 CC-12M 训练的 LexVLA 优于在更大数据集（如 YFCC15M）上微调的基线，以及使用更大规模数据从头训练的基线；后者的训练数据示例为包含 CC-12M 的 1.1B 数据。摘要未提供具体检索数据集、指标数值和对照配置，不能据此量化优势或认定其来自词汇表征本身。实验协议、消融及统计信息尚未验证；摘要提供了代码地址，但实现与复现条件尚未核验。 平台推测（待验证）：若 EEG 任务具有可靠的文本或语义类别监督，共享词表表征可能提供可检查的语义对齐接口；可复用词汇空间与过度激活惩罚思路，但需改造 EEG 编码器及其到词表的映射。低信噪比、跨被试及通道差异、小数据条件可能导致伪词激活或语义信息不足。可在固定数据划分和相同 EEG 编码器下，小规模比较潜在特征对齐、词汇对齐及加入 overuse penalty 的版本，同时检查任务指标与激活词稳定性。此为迁移假设，并非本文已验证的 BCI 效果；已有 EEG 相关工作尚未检索确认。