通过多知识表示优化视觉-语言模型的提示学习

基于摘要分析。本文研究视觉-语言模型（VLMs）适配下游任务时，手工或学习得到的提示模板多样性不足的问题，提出 Context Optimization with Multi-Knowledge Representation（CoKnow），以丰富的上下文知识增强提示学习。原研究对象是 CLIP 等 VLMs 的视觉跨模态任务，而非 EEG 或 BCI。 机制上，CoKnow 训练轻量语义知识映射器，在推理时根据输入图像生成 Multi-Knowledge Representation，摘要称这一过程不需要额外先验。其主要思路是以多知识表示补充提示上下文，而不只依赖有限的提示模板。知识的具体来源、表示形式、映射器结构、训练监督及与 VLMs 的交互方式，摘要均未展开，尚待正文核对。 作者报告，在 11 个公开数据集上的实验中，CoKnow 优于一系列既有方法；摘要未提供数据集名称、数据划分、具体基线、指标或提升幅度，因此尚不能判断优势的规模及适用范围。实验协议、消融及统计信息尚未验证。作者表示将开源全部资源，但当前开放状态与复现条件尚未确认。 平台推测（待验证）：若 EEG 任务具备可对齐的文本类别描述与信号表示，该思路可能用于检验多语义上下文能否改善单一提示的表达局限；但需将图像知识映射器改造为 EEG 表征映射器，不能直接沿用视觉语义假设。低信噪比、跨被试差异及小样本监督可能使映射器学习到不稳定关联。可在同一 EEG—文本模型与固定跨被试划分下，对比单一提示和多知识提示，并核对映射器是否仅使用训练被试数据，以检验收益能否跨被试保持。已有 EEG 相关工作尚未检索确认。