MMRL：面向视觉-语言模型的多模态表示学习

基于摘要分析。本文针对预训练视觉-语言模型（VLM）在少样本适配中容易过拟合的问题，提出 Multi-Modal Representation Learning（MMRL）：通过共享、可学习且模态无关的表示空间，结合任务适配与预训练知识保留。研究对象是视觉-语言模型，并非 EEG 或 BCI。 机制上，MMRL 将共享空间中的 token 投影为文本与图像表示 token，并将其引入编码器高层，以学习更具数据集特异性的特征，同时保留低层的通用知识。训练时同时优化表示特征与 class token 特征；表示 token 的投影层可训练，class token 的投影层保持冻结。此外，模型利用冻结 VLM 的零样本特征，对 class 特征和文本特征施加对齐正则化。摘要未给出损失公式、具体层位及完整参数冻结范围。 推理时采用解耦策略：对基类同时使用表示特征与 class 特征，对新任务仅使用保留较多通用知识的 class 特征。作者报告，在 15 个数据集上的实验优于所比较的先进方法，并在任务适配与泛化间取得平衡；但摘要未提供数据集名称、少样本划分、指标、具体数值或基线配置，无法据此判断收益幅度与协议可比性。材料给出了代码地址，复现仍需核对预训练骨干、训练配置、推理特征组合方式，以及实验协议、消融及统计信息。 平台推测（待验证）：可迁移的假设是，将任务特异的可学习表示与较通用的冻结特征分开，并用后者约束少样本适配，可能有助于缓解 EEG 小数据过拟合。但原方法依赖预训练 VLM 的图文表示、类别文本及零样本参照；用于 EEG 时需另行定义信号 token、可用的预训练参照和任务语义对应，不能直接替换输入。低信噪比、跨被试差异及通道变化可能使冻结参照不可靠，过强对齐也可能压制有效的神经信号特征。一个可检验的小实验是在固定 EEG 编码器和跨被试划分下，比较少样本适配基线、加入表示 token、再加入冻结特征正则化，分别评估适配被试与未见被试的表现。已有 EEG 相关工作尚未检索确认。