重新审视对比学习中的多模态表征：从图像块与 token 嵌入到有限离散 token

基于摘要分析。该研究针对 CLIP 类视觉—语言预训练中图像块与文本 token 的语义层级和粒度不一致问题，提出基于 Finite Discrete Tokens（FDT）的多模态表征，以共享的可学习概念 token 作为图像与文本的对齐空间。 核心机制是先将两种模态的输入映射到共享 FDT 空间，再聚合被激活的 FDT 表征；通过稀疏激活约束，促使相匹配的视觉与语义概念由同一组离散 token 表示。相较于直接对齐图像块和文本 token 聚合得到的嵌入，该方法将共享概念空间引入对齐过程。摘要未给出离散化、激活选择、损失形式及训练配置的具体实现。 作者报告，在 CLIP 风格模型中，FDT 改善了跨模态对齐，以及视觉识别和视觉—语言下游任务表现；定性与定量分析还表明，学到的 FDT 能捕捉对象、动作和属性层面的跨模态对应关系。摘要未列出数据集、划分、具体基线或数值，实验协议、消融及统计信息尚未验证。材料提供了源码地址，但代码完整性与复现条件尚未核对。 平台推测（待验证）：若 EEG 与配对刺激或语义标签之间存在可重复的概念对应，共享概念 token 可能为异构表征对齐提供中间空间；这是假设，不是本文已验证的 BCI 效果。可考虑复用共享 token 与稀疏激活机制，但需改造 EEG 编码器和时间信息聚合，并依赖可靠配对监督及足够的概念覆盖。低信噪比、跨被试和通道差异，以及小数据条件，都可能使 token 编码噪声或被试特征而非语义。一个可证伪的小实验是在固定 EEG—刺激配对数据划分和编码器条件下，对照直接对比对齐、共享 FDT 及移除稀疏约束的版本，分别评估被试内与跨被试检索表现和 token 稳定性。已有 EEG 相关工作尚未检索确认。