通过交替单模态适配进行多模态表征学习

基于摘要分析。本文研究多模态学习中部分模态占据主导、导致整体性能受限的问题，提出 MLA（Multimodal Learning with Alternating Unimodal Adaptation），以交替单模态学习替代常规联合多模态学习，并通过共享头与测试时融合整合跨模态信息。 机制上，MLA 通过交替优化单个模态减少模态间干扰；不同模态持续优化同一共享头，以捕获跨模态交互。作者还引入梯度修改机制，防止共享头丢失此前获得的信息。推理阶段采用基于测试时不确定性的模型融合。摘要未说明交替更新日程、梯度修改公式、不确定性估计方法及融合权重的具体计算方式。 作者报告，在五个不同数据集上，覆盖完整模态与模态缺失场景，MLA 优于所比较的既有方法。但摘要未提供数据集名称、任务、划分协议、基线名称和量化指标，因此无法判断收益幅度及其适用边界。材料提供了代码仓库链接，但实现与论文的一致性、运行条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 与其他模态联合训练时存在模态主导和梯度干扰，交替训练与共享头信息保持可能具有借鉴价值。该路径依赖可用于共同任务监督的多模态数据，以及能够映射到兼容表征空间的模态编码器；原文具体数据对应关系与监督方式尚未验证。可复用交替优化和融合思路，但 EEG 编码、时序对齐及不确定性校准需另行适配。低信噪比、小样本、被试差异和通道变化可能使共享头偏向稳定但任务信息不足的模态，或使融合置信度失准。一个可检验的小实验是在固定跨被试划分的 EEG 多模态任务上，对照联合训练与交替训练，再分别加入梯度修改和不确定性融合，检查完整及缺失模态条件下的收益是否稳定。已有 EEG 相关工作尚未检索确认。