多模态先验知识引导的视觉表示学习

基于摘要分析。本文研究图像分类模型在训练与测试分布不一致时的泛化问题，提出 Knowledge-Guided Visual representation learning（KGV），将知识图谱与合成图像提供的多模态先验引入视觉表示学习。其主要研究对象是计算机视觉中的分布偏移，而非 EEG 或 BCI。 机制上，KGV 使用两类先验：包含层级关系与关联关系的知识图谱，以及依据图谱中视觉元素语义生成的合成图像。原始图像、合成图像的视觉嵌入与知识图谱嵌入被映射至共同潜在空间，并通过一种基于平移的知识图谱嵌入方法变体进行对齐：图谱节点嵌入建模为高斯分布，关系嵌入建模为平移。作者认为，这种多模态先验约束能够加强图像表示学习的正则化，从而改善跨分布泛化；具体损失、图像生成流程和训练安排尚未验证。 评估覆盖德国、中国和俄罗斯数据集之间的道路标志分类、mini-ImageNet 及其变体上的图像分类，以及 DVM-CAR。作者报告，在这些包含较大或较小分布偏移的实验中，KGV 相较基线均具有更高的 Accuracy 和数据效率。摘要未给出具体数值、基线名称、数据划分及数据效率定义，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，用任务语义关系约束表示空间，可能有助于缓解 EEG 小样本条件下的跨被试泛化困难；但这依赖可构建且与信号相关的类别关系，原论文的视觉合成流程不能直接复用于 EEG。可考虑复用图谱分布嵌入与对齐机制，另行改造 EEG 编码器及先验来源。低信噪比、被试差异和通道变化可能使语义邻近与信号分布邻近不一致，造成负迁移。一个可检验的小实验是在固定跨被试划分与编码器下，对照无图谱约束、真实关系约束和打乱关系约束，检验收益是否确实来自关系先验。以上并非论文已验证结论，相关 EEG 工作尚未检索确认。