多方表征对齐
Multi-Way Representation Alignment
基于摘要分析。本文研究三个及以上独立训练模型的表征对齐,针对两两映射随模型数量呈二次增长、难以形成一致全局参考的问题,提出 Geometry-Corrected Procrustes Alignment(GCPA),以共享空间构建与后置方向校正支持任意模型间检索。 机制上,作者先将 Generalized Procrustes Analysis(GPA)用于构建共享正交参考空间,旨在保留对 model stitching 等任务重要的内部几何。摘要指出,严格等距对齐并不一定适合检索,而 Canonical Correlation Analysis(CCA)等最大化表征一致性的方法通常更有优势。GCPA 因此先建立基于 GPA 的共享空间,再对方向不匹配进行后置校正;具体校正形式、优化过程及数据对应要求尚未验证。 作者报告,在所开展的多模型对齐实验中,GCPA 持续改善任意模型间检索,同时保留实用的共享参考空间。摘要未提供数据集、模型组合、划分方式、检索指标、数值及计算开销,不能据此判断提升幅度或是否消除了整体计算的二次增长;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若不同 EEG 编码器对同一批试次提供可对应的特征,共享参考空间可能用于比较或对齐多个编码器的表征;这不等同于已验证的跨被试或跨会话适应。可复用的是 GPA 共享空间与后置校正思路,需核对并改造特征维度处理、配对样本要求及校正拟合方式。低信噪比、通道差异和小样本可能使对齐方向不稳定,真实被试差异也未必符合正交变换假设。一个可证伪的小实验是在相同 EEG 试次上提取多个独立训练编码器的特征,仅用训练划分拟合对齐,在独立测试试次上比较两两对齐、GPA 与 GCPA 的同试次跨模型检索表现,并检查内部几何是否保持。已有 EEG 相关工作尚未检索确认。
值得核对其如何在多个模型间建立统一参考空间,并通过后置校正缓解几何保持与检索一致性之间的冲突;摘要尚不足以判断其计算收益及对 EEG 表征的适用性。
来源:OpenReview · Representation learning · openreview.net