通过表征解耦实现鲁棒多模态学习

基于摘要分析。本文研究缺失模态条件下的鲁棒多模态学习，提出 Decoupled Multimodal Representation Network（DMRNet），通过概率化潜在表征与困难模态组合正则化，保留不同模态组合的特有信息并缓解训练不均衡。原论文主要面向多模态分类与分割，而非专门针对 EEG 或 BCI。 作者认为，既有共同子空间方法隐含地约束同一类别、不同模态组合的表征朝向相同方向，可能限制模态特有信息的学习。DMRNet 将不同模态组合的输入建模为潜在空间中的概率分布，而非固定点，并从该分布采样嵌入，交由预测模块计算任务损失。作者解释，采样表征阻断了损失最小化对推理表征施加的方向约束，使不同组合能够保留各自的信息。摘要未提供分布形式、采样与梯度实现、推理时如何使用分布等细节，尚需全文核对。 此外，hard combination regularizer 引导模型更多关注困难模态组合，以缓解组合之间的训练不均衡。作者报告，DMRNet 在多模态分类与分割实验中显著优于当时的先进方法；但摘要未给出数据集、模态构成、缺失模式、划分协议、指标、数值或统计检验，无法据此量化优势或比较不同评估条件。实验协议、消融及统计信息尚未验证。摘要提供了代码地址，其实现完整性与复现条件尚未核验。 平台推测（待验证）：若 EEG 与其他同步模态组成的监督分类任务存在模态缺失，该方法可能用于缓解共同表征过度对齐对模态特有信息的压缩。可尝试复用概率表征与困难组合正则化模块，但需改造各模态编码器并处理时间对齐；低信噪比 EEG、跨被试差异、通道变化及小数据可能使分布估计不稳定，困难组合也可能由噪声而非有效信息主导。一个可证伪的小实验是在固定跨被试划分和相同缺失模态协议下，对比共同子空间基线、仅概率表征及完整 DMRNet，分别评估完整与缺失组合的分类表现。已有 EEG 相关工作尚未检索确认。