FuseAdapt：面向模态缺失语义分割的参数高效多模态融合

基于摘要分析。FuseAdapt 研究多模态语义分割在测试时传感器模态退化或缺失下的鲁棒性，通过冻结视觉基础模型（VFM）、在轻量适应路径中融合模态信息，并加入训练期的 Predictive Modality Modeling（PMM），兼顾参数效率与缺失模态处理。 核心机制是 adaptation-space fusion：每种模态配置轻量适应分支，Q/V 的低秩适应保持模态私有，仅在冻结主干内部跨模态路由 FFN 的低秩残差激活。与独立融合网络或多分支跨模态编码器不同，该方法利用共享 VFM 先验，同时通过适应路径学习模态特定修正和跨模态交互；具体路由规则与训练参数量尚未验证。 PMM 在训练时遮蔽一个目标模态，由可见模态预测其嵌入，并以完整模态输入下计算的教师目标监督，旨在学习跨模态冗余。作者说明 PMM 仅用于训练，不增加推理开销；损失具体形式、教师构造和遮蔽策略尚未验证。 作者报告，在 MCubeS、DELIVER、MUSES 三个多模态分割基准上，该方法在完整与缺失模态条件下均有改善；相对作者所称此前最先进方法，完整模态条件下最高提升 3.01 个 mIoU 点，缺失模态条件下最高提升 12.56 个 mIoU 点。摘要未交代这些最大提升分别对应的基准、模态组合和具体基线，不能视为各基准的统一增益；数据划分、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，以模态私有适应保留信号差异，再以共享残差交互和遮蔽预测缓解多模态神经信号系统的传感器缺失。该路径依赖训练期同步的多模态样本及足够的跨模态可预测信息；迁移时需改造 EEG 输入表征、时间对齐与主干，不能直接假定视觉先验适用。低信噪比、跨被试差异和小数据可能使教师目标不稳定，缺失模态的独有信息也未必可恢复。一个小规模可检验实验是在同步 EEG 与辅助模态数据上固定划分和缺失模式，对比私有适应、加入残差融合、再加入 PMM 的表现，并控制可训练参数量。已有 EEG 相关工作尚未检索确认。