Feature-Pullback：从特征空间几何重新思考多模态不平衡

基于摘要分析。本文研究多模态联合学习中的模态不平衡，提出即使不同模态接收到相同优化信号，编码器也可能将其转换为方向、尺度及可达性不同的特征更新。作者据此提出 Feature-Pullback，通过近似模态特定的响应结构修正反向更新，而不改变前向网络。 机制上，研究将关注点从梯度、学习速度或模态贡献的均衡，转向优化信号在特征空间中的实际作用。作者的局部优化分析指出，任务信号需经过模态特定的特征响应算子才能形成特征更新，并建立特征空间响应畸变与参数空间 pullback 几何之间的对应。方法使用 feature probes 与逐层 Kronecker 结构构建可扩展近似；具体算子形式、近似误差及计算开销尚未验证。 作者报告，在仅改变模态表征几何的受控 modality-manifold 实验中，性能提升为 8.86%；摘要未说明该数值对应的指标、相对百分比或百分点及具体对照设置，不能作进一步换算。作者还报告，在四个音视频及图文基准上，方法持续改善模态学习与融合性能，并均取得新的最优结果；数据集名称、划分、指标、基线及统计信息尚未验证。 平台推测（待验证）：若 EEG 与其他模态的联合学习确实受编码器响应差异影响，该机制可能为模态不平衡提供可检验解释，但原文研究对象并非 EEG/BCI。可复用部分是响应探测与反向更新修正，需适配时序编码器及通道结构；低信噪比、小样本和跨被试漂移可能使响应估计不稳定。一个小规模检验是在固定被试划分、编码器及融合结构的 EEG 多模态任务中，对比原始训练与加入该修正后的模态单独性能、融合性能及训练开销。已有 EEG 相关工作尚未检索确认。