MMRL：面向视觉-语言模型的多模态表征学习

基于摘要分析。本文研究大规模预训练 Vision-Language Models（VLMs）在少样本适应中容易过拟合的问题，提出 Multi-Modal Representation Learning（MMRL），通过共享、可学习且模态无关的表征空间，协调任务特定适应与预训练知识保留。 机制上，MMRL 将共享空间中的 tokens 投影为文本和图像 representation tokens，并将其引入编码器高层。作者的设计依据是高层更偏向数据集特定特征，而低层保留更通用的知识。训练同时优化 representation features 与 class features，其中 representation tokens 的投影层可训练，class token 的投影层保持冻结；另以正则项将 class features 和 text features 对齐到冻结 VLM 的零样本特征。摘要未给出正则项的具体数学形式。 推理采用解耦策略：base classes 同时使用 representation features 和 class features，新任务仅使用更侧重通用知识的 class features。作者报告，在 15 个数据集上的实验优于所比较的现有方法，并取得适应与泛化之间的平衡；但摘要未提供数据集名称、指标、少样本数量、划分或基线细节，不能据此量化优势，也不能将“新任务”直接等同于某种统一评估协议。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，代码完整性及复现条件尚未核验。 平台推测（待验证）：可迁移假设是，将任务特定表征与通用表征分离，可能缓解少样本 EEG 适应中的过拟合。原方法依赖预训练图像与文本编码器及其零样本参照；用于 EEG 时需改造信号编码、token 接口和语义对齐，不能直接照搬。低信噪比、跨被试差异及通道不一致可能使冻结参照保留不适用的表征，小数据也可能不足以学习可靠投影。一个可检验的小实验是在固定预训练 EEG 编码器和相同少样本跨被试划分下，对比仅优化 class features、加入高层 representation tokens，以及再加入冻结参照正则与推理解耦的增量效果，同时考察适应被试与留出被试表现。该假设不是本文已验证结论，相关 EEG 工作尚未检索确认。