跳到正文
OpenReview · Representation learning· Sana Tonekaboni; Viktoria Schuster; Caroline Uhler·· 2026-05-01AI 评分66

MultiLoReFT:通过低秩表示微调解耦多模态学习中的共享与模态特异子空间

MultiLoReFT: Decoupling Shared and Modality-Specific Subspaces in Multimodal Learning via Low-Rank Representation Fine-Tuning

AI 导读

基于摘要分析。本文研究多模态学习中大规模对齐配对数据难以获取,以及共享信息与模态特异信息相互纠缠的问题,提出 MultiLoReFT:利用预训练单模态模型进行低秩表示微调,学习可解释的投影子空间,以分离两类信息并支持多模态预测。 核心机制是将低秩适配扩展到多模态表示学习,通过投影子空间显式呈现共享与模态特异信息在不同模态中的分布。研究重点不仅是融合后的预测能力,也包括表示的可解释性与可控性。摘要未说明投影的具体参数化、共享子空间的约束方式、损失函数、监督形式、训练时需要多少配对样本,以及预训练模型哪些部分被更新;不能据此认定方法无需配对数据。 作者报告,该方法在模拟与真实世界基准上得到支持多模态预测的表示,并显式揭示共享与模态特异信息的分布。摘要未提供基准名称、样本规模、划分协议、对照方法或定量指标,因此尚不能判断其相对其他融合或微调方法的性能与效率优势。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 与另一模态存在可对齐的共同任务信息,同时各自保留独有信息,这类子空间分离机制可能用于检验融合模型是否过度依赖单一模态。可考虑复用低秩投影思路,但需改造 EEG 编码、时间对齐及缺失模态处理;其可行性依赖配对数据结构、监督信号和预训练表示质量。低信噪比、被试差异、通道变化及小数据可能使子空间捕获噪声或被试身份,而非稳定的共享任务信息。一个可检验的小实验是在已有配对 EEG 多模态数据上固定编码器,比较普通融合与低秩子空间分离,在一致的跨被试划分下评估任务性能及单模态遮蔽后的变化,以检验解耦是否改善泛化与模态互补性。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · Representation learning · openreview.net