利用跨模态邻居表示改进 CLIP 分类

基于摘要分析。本文研究 CLIP 的跨模态预训练目标与下游单模态特征提取方式之间的错配，提出 CrOss-moDal nEighbor Representation（CODER），以图像与邻居文本之间的距离结构构造表示，用于 zero-shot 和 few-shot 图像分类。 核心机制：作者将文本特征视为 CLIP 表征空间中图像特征的精确邻居，不再仅依赖图像编码器输出，而是利用图像相对于邻居文本的距离结构提取特征。该设计旨在更直接地利用 CLIP 经图像—文本对比学习获得的跨模态匹配能力。摘要未给出距离度量、表示维度及具体分类流程，尚不能判断这些实现细节。 文本构建与结果：作者认为，高质量 CODER 依赖数量充足、质量高且多样的匹配文本，并提出 Auto Text Generator（ATG），以 data-free、training-free 的方式自动生成所需文本；这一描述不能扩展为整个分类流程均无需数据或训练。作者报告，在多个数据集和模型上的 zero-shot、few-shot 图像分类实验支持 CODER 的有效性，但摘要未列出数据集名称、划分、对照基线及指标数值。实验协议、消融及统计信息尚未验证。材料提供了代码链接，但实现与复现条件尚未核验。 平台推测（待验证）：可迁移的假设是，在已有可靠 EEG—文本对齐空间的前提下，用信号相对语义文本邻居的距离表示辅助分类，而非直接套用 CLIP 图像编码器。可复用的是邻居距离表示思路，需要改造的是 EEG 编码、跨模态对齐及任务文本生成；原方法依赖的图文对齐不能视为 EEG 已具备的条件。低信噪比、跨被试差异、通道变化与小样本可能使邻居结构不稳定。一个可证伪的小实验是，在固定数据划分与编码器下，比较原始 EEG 特征与文本邻居距离特征，并加入打乱文本邻居的对照，检验收益是否来自语义对应。已有 EEG 相关工作尚未检索确认。