CAPro：利用跨模态对齐原型的网络监督学习

基于摘要分析。本文研究网络图像及其关联文本中的标签噪声与语义歧义，提出 Cross-modality Aligned Prototypes（CAPro），通过跨模态对齐的原型对比学习获得语义更准确的视觉表征，原始研究对象并非 EEG 或 BCI。 机制上，CAPro 从类别的明确概念定义构建文本原型，通过文本匹配筛选干净图像，减少视觉原型形成时的语义歧义；针对文本缺失或图文不匹配，再利用视觉特征空间补全和增强单个文本，以改善匹配。语义对齐后的视觉原型由高质量样本进一步优化，并参与聚类正则化与噪声去除。此外，collective bootstrapping 以类似字典查找的方式，利用外观相似实例提供更平滑的标签参考。其关键思路是联合利用类别语义与视觉邻域，而非仅依赖带噪图像标签。 作者报告，在 WebVision1k 与 NUS-WIDE (Web) 上、涵盖单标签和多标签场景的实验中，CAPro 能处理真实网络噪声，取得作者所称的当时最优性能，并表现出开放集识别鲁棒性。摘要未给出具体指标、数值、数据划分及对照配置，实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但实现细节与复现条件尚未核查。 平台推测（待验证）：若 EEG 数据具有可信的任务文本定义和带噪试次标签，可假设复用“语义原型辅助样本筛选＋特征邻域标签修正”的机制；图像编码及图文匹配模块则需替换为适配 EEG 的表征与跨模态对齐模块。主要风险是 EEG 低信噪比、跨被试及通道差异导致邻域更多反映被试或采集条件，而非任务语义，小数据也可能使错误原型自我强化。一个可证伪的小实验是在固定 Cross-subject 划分和可控训练标签噪声下，对比基础分类器、仅原型筛选及加入邻域修正的版本，并用干净测试标签检验收益。相关 EEG 工作尚未检索确认。