通过不均衡学习改进多模态学习

该研究针对多模态学习优化不足、性能可能低于单模态学习的问题，提出 Asymmetric Representation Learning（ARL），通过不均衡优化调整模型对各模态的依赖，而非追求模态间学习均衡。基于摘要分析，未取得论文全文。 作者通过偏差—方差分析论证：当模型对各模态的依赖比例与其预测方差成反比时，可获得最优性能；这一结论的具体假设及适用边界尚需核对全文。ARL 为各模态编码器引入辅助正则项以计算预测方差，再依据单模态方差计算系数，对各模态的优化进行重加权。此外，ARL 将各模态的预测偏差与多模态损失联合优化，以降低泛化误差。 作者表示，辅助正则项与多模态模型共享参数，且仅依赖模态表征，因此不引入额外参数，也不依赖特定模型结构或融合方法。作者报告在多个数据集上的实验支持其有效性与通用性，但摘要未提供数据集名称、评估协议、对照方法和具体指标；实验协议、消融及统计信息尚未验证。摘要提供了代码链接，代码内容与复现条件尚未核验。 平台推测（待验证）：若 EEG 与其他信号构成有监督多模态预测任务，ARL 的方差驱动重加权可能适用于模态可靠性不一致的问题。可复用部分是模态级方差估计与优化权重分配，需核对并适配各编码器输出、共享预测参数及方差估计方式。该迁移依赖可配对的多模态样本和任务监督；低信噪比、跨被试或通道变化、小样本可能使方差估计不稳定，且低方差不必然意味着低预测偏差。一个可证伪的小实验是在固定跨被试划分、相同编码器与融合结构下，对比原始训练、梯度均衡与 ARL，并单独扰动 EEG 噪声水平，检验模态权重变化及任务指标是否支持其机制假设。已有 EEG 相关工作尚未检索确认。