OmniBind：通过空间绑定实现大规模全模态表征

基于摘要分析。OmniBind 面向 3D、音频、图像和语言的多模态联合表征，针对跨模态配对数据稀缺的问题，通过重映射并绑定多个预训练专用模型的表征空间，构建规模为 7B 至 30B 参数的模型，而非从头训练大型联合模型。 核心机制是学习路由器，为不同表征空间动态分配权重；摘要明确给出跨模态整体对齐与语言表征解耦两个学习目标，但未提供损失函数及解耦的具体实现。其扩展思路是借助已有专用模型，间接增加模型参数规模与已见数据量。作者称空间绑定和路由仅需轻量网络，并报告最大 30B 模型的学习使用非配对单模态数据，在单个配备 8 张 RTX 4090 的节点上约需 3 天；这一训练成本不应直接等同于包含各专用模型预训练的总成本。 作者报告实验支持 OmniBind 在任意查询及可组合多模态理解等应用中的通用性与优势，但摘要未给出数据集、划分、对照基线或具体指标，尚不能量化其收益。实验协议、消融及统计信息尚未验证，也需核对参数规模的统计口径、各模块的更新范围及推理资源需求。 平台推测（待验证）：空间绑定机制可能为 EEG 与语言、图像等表征的对齐提供参考，尤其适用于配对神经数据有限、已有可用 EEG 编码器的情形。可复用的是绑定与路由思路，需改造的是 EEG 编码器及其与目标语义空间的对齐方式；原论文未将 EEG 列为输入模态，其非配对训练条件不能直接视为适用于 EEG。低信噪比、跨被试差异、通道配置变化和小数据可能使路由学习失效。一个可证伪的小实验是在固定 EEG 编码器和统一跨被试划分下，比较单一空间映射与多空间绑定路由的同一跨模态检索指标，检验是否确有增益。相关 EEG 工作尚未检索确认。