STAIR：学习以语义锚定 token 表达的稀疏文本与图像表示

基于摘要分析。STAIR 研究图像与文本检索，针对 CLIP、ALIGN 等方法采用稠密嵌入、语义解释不直接的问题，扩展 CLIP，将图像与文本映射到共享的稀疏 token 空间，尝试兼顾检索性能与可解释性。 该空间的每个 token 对应词表中的一个词或子词，使跨模态表示具有可读的语义单位。作者指出，这种表示也便于与现有信息检索系统整合。摘要未说明稀疏性如何实现、具体训练目标及 token 权重的计算方式，相关机制尚待全文核对。 作者报告，在 COCO-5k 检索评估中，相较所用 CLIP 基线，STAIR 的 text→image Recall@1 绝对提高 4.9 个百分点，image→text Recall@1 绝对提高 4.3 个百分点；作者还报告 ImageNet 零样本分类与线性探测表现优于 CLIP，但摘要未提供具体数值。训练数据、基线配置、数据划分细节、消融及统计信息尚未验证，不能据此推广到其他评估协议。 平台推测（待验证）：其潜在 EEG 对应点是以共享语义词表约束 EEG 与文本的对齐，检验可读的稀疏表示能否辅助语义检索，而非直接替代通用 EEG 解码。原方法依赖图像—文本跨模态数据和词表结构，具体监督方式与训练规模尚未验证；迁移需改造 EEG 编码器及配对数据接口，并处理跨被试、通道差异和低信噪比。词表覆盖不足或小样本条件下的稀疏约束也可能丢失有效信息。一个可检验的假设是：在具有刺激文本描述的 EEG 数据上，固定编码器、训练数据与跨被试划分，仅比较稠密和稀疏语义输出的检索表现及稳定性。该实验属于迁移设想，已有相关 EEG 工作尚未检索确认。