跨模态查询融合与对齐：通过查询引导融合解决模态不平衡

基于摘要分析。本文研究多模态学习中强模态主导优化、弱模态利用不足的问题，提出 Cross-Modal Query Fusion and Alignment（CQFA），通过分阶段训练与查询分区融合，分离模态特定表征学习和受控跨模态交互。 作者从表征结构出发，将模态不平衡分为两种耦合失效：表征层不平衡，即不同模态占据不匹配的低维子空间；融合层不平衡，即共享融合层通过破坏性的跨模态纠缠压制弱模态贡献。其核心观点是，改善表征对齐不必然带来融合后的均衡利用，因此仅修正优化不平衡可能不足。 在机制上，CQFA围绕模态特定的 expert queries 设置分阶段目标，在完整融合前稳定各模态表征并增强跨模态对应关系；随后使用双查询引导融合流与 logit 级聚合，旨在减少过早纠缠及刚性共享瓶颈。摘要未给出具体损失形式、训练阶段配置或查询构造细节。 作者报告，在 CREMA-D 和 Kinetics-400 上优于其比较的现有最佳结果，ACC/F1 分别为 89.94/89.94 和 71.85/71.66。摘要未说明数值单位、数据划分、F1 平均方式及具体对照基线，因此这些数值仅能作为各自数据集下的作者报告，不能直接跨数据集比较。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能适用于同步 EEG 与其他模态联合建模时的弱模态抑制，但原论文并未提供 EEG/BCI 有效性证据。可考虑复用分阶段表征学习和查询分区融合，需改造信号编码、时间对齐与查询构造；原方法对配对数据、监督及数据规模的具体依赖尚未验证。低信噪比、通道差异及小样本可能使弱模态查询难以学得稳定信息。一个可证伪的小实验是，在固定编码器和跨被试划分下，对比共享融合与查询分区融合，并通过单模态输入及逐模态遮蔽检验 EEG 的贡献是否真正增加，而非仅由强模态提升总体表现。已有 EEG 相关工作尚未检索确认。