通过保拓扑原型图实现稳健多模态表征学习

基于摘要分析。本文研究多模态表征如何在保留各模态特有信息的同时实现跨模态对齐，提出 Pesto：各模态学习独立嵌入空间，通过共享拓扑而非共享嵌入几何建立对应关系。 核心机制是用原型网格表示拓扑，使相似样本映射至邻近位置。每个模态拥有独立编码器与原型矩阵，通过其在共享图上的分布实现对齐：同一实例的不同模态对应相近图位置，相似样本则组织在相邻区域。表征与拓扑联合学习，邻域损失通过反向传播训练编码器，并用于更新原型；摘要未提供损失公式、网格配置或其他训练细节。由于对齐发生在共享图上，作者称推理时可单独使用任一模态，无须插补其他模态或重新训练。 作者报告，在真实世界数据集上的实验显示，Pesto 能保留单模态特征、生成跨模态一致的拓扑图，并取得与现有方法有竞争力的表现；摘要未列出数据集、任务、指标、数值及对照方法，不能据此判断优势幅度或适用范围。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 与其他模态具有可靠的实例级对应关系，共享拓扑可能为跨模态几何差异提供一种对齐途径，而不必强制各模态使用同一嵌入空间。可复用原型图与分布对齐机制，但需改造 EEG 编码器及时间窗配对方式；低信噪比、被试差异、通道变化和小样本可能使图位置主要反映噪声或被试身份。一个可检验的假设是：在固定跨被试划分的配对 EEG—其他模态数据上，与共享嵌入基线比较，Pesto 是否能在仅用 EEG 推理时保留任务性能，并改善邻域结构一致性。已有 EEG 相关工作尚未检索确认。