超越目标函数的表达能力：多模态对比学习中的几何保持

基于摘要分析。该研究关注从成对模态扩展至三种及更多模态时，对比学习面临的优化与表征问题，提出通过改善编码器 Jacobian 的条件性来保持表征几何，而不只依赖更具表达能力的对比目标。 作者将三模态对比学习中的对齐退化与编码器 Jacobian 联系起来：条件性较差的编码器会出现奇异值谱塌缩或放大，伴随 Jacobian 条件数急剧增大。为此，作者提出 geometry-preserving encoders（GPEs，几何保持编码器），通过正则化直接改善 Jacobian 条件性，并报告 LeakyReLU 激活和残差路径等简单修改也能带来相应的几何改善。具体正则项、Jacobian 估计方式及其计算开销尚未验证。 作者报告，在一个合成基准和四个真实数据集、包含模态缺失的评估中，改善 Jacobian 条件性可在多种对比目标下提升检索与线性探测表现；相比之下，更具表达能力的目标在线性探测中的收益较小。摘要未提供数据集名称、划分、具体指标或提升幅度，实验协议、消融及统计信息尚未验证，不能据此判断各干预因素的独立贡献或跨任务稳定性。 平台推测（待验证）：该机制可能用于含 EEG 的多模态对比表征学习，检验低信噪比模态是否因编码器几何失衡而难以对齐。可复用的是 Jacobian 条件性诊断与正则化思路，需按 EEG 时序和通道结构改造编码器；其适用性依赖可对齐的多模态样本，不能直接外推到单模态 EEG。小数据、跨被试差异和通道变化可能使几何改善无法转化为任务收益。一个可检验的小实验是在固定跨被试划分、对比目标和训练预算下，比较原编码器与加入相关干预后的 Jacobian 谱、检索和线性探测结果。已有 EEG 相关工作尚未检索确认。