从你开始：Perceptual-Initialization 改善视觉—语言表征与对齐

基于摘要分析。本文研究能否在表征学习的初始化阶段引入人类感知结构，以改善视觉—语言模型的零样本泛化。作者提出 Perceptual-Initialization（PI），利用 NIGHTS 数据集中源自人类判断的三元组嵌入初始化 CLIP 视觉编码器，再在 YFCC15M 上进行自监督学习，而非将感知信息仅用于后续微调。 作者报告，在不进行任务特定微调或目标域适应的前提下，该方法在 29 个零样本分类基准和 2 个检索基准上改善了零样本 top-1 accuracy、top-5 accuracy 及检索召回率（如 R@1、R@5）。作者报告，ImageNet-1K 上的零样本收益约在预训练 15 个 epoch 后出现，不同数据集上的收益出现阶段有所差异。摘要未给出具体提升幅度、完整基准清单及对照初始化方案，因此尚不能判断收益大小及稳定性。 其方法层面的关注点是感知监督的介入时机：先将人类感知结构注入视觉编码器，再开展后续表征学习。三元组嵌入如何映射至编码器初始化、自监督目标、视觉—语言对齐训练细节，以及实验协议、消融及统计信息尚未验证，需结合全文核对。 平台推测（待验证）：可检验的迁移假设是，将任务相关相似性结构用于 EEG 编码器初始化，可能有助于小样本表征学习，但图像感知三元组不能直接视作 EEG 的有效监督。可复用的是“结构化相似性先验—初始化—后续学习”的流程，需改造三元组来源与信号编码模块；低信噪比、跨被试差异及通道配置变化可能使相似性先验失效。若具备独立训练被试的可靠相似性标注，可在固定跨被试划分和相同训练预算下比较该初始化与随机初始化，并用打乱三元组关系作为对照。上述仅为迁移假设，已有 EEG 相关工作尚未检索确认。