群体层面的表征变异性与基于三元组的模型级表征描述符
Population-Level Representation Variability and Triplet-Derived Model-Level Representation Descriptors
基于摘要分析。本文研究相同学习条件下独立训练的神经网络为何形成不同表征,以及如何超越成对比较来刻画模型群体与单个模型。作者提出群体层面的 Representational Dispersion(RD)和模型层面的 Triplet-Derived Representation Descriptor(TRD),并进一步提出 Compact TRD 与 Surrogate-Guided Subset Optimization(SGSO),以减少构建描述符所需的观测数量。 机制上,RD 用于度量模型群体的表征变异性;TRD 通过共享观测上的相对距离描述每个模型,使不同表征空间中的模型能够在共同描述框架下比较。作者报告,在所考察的学习条件与训练随机性下,RD 能捕捉一致的变异模式,TRD 能保留基于 Centered Kernel Alignment(CKA)的模型间关系。SGSO 则在固定预算下优化观测子集,用于构建保留模型级表征几何关系的紧凑 TRD。摘要未提供具体数据集、模型规模、预算、评价指标或数值结果,实验协议、消融及统计信息尚未验证。 平台推测(待验证):该方法可能用于分析 EEG 解码器在相同任务与训练条件下,由随机初始化等因素引起的表征差异,而非直接提高解码性能。可复用部分是群体变异度量、模型级描述符及观测子集选择;需要改造的是共享 EEG 观测的构建与跨通道表征的比较流程。其依赖多个待比较模型及共享观测,低信噪比、被试差异、通道配置变化和小样本可能使描述符主要反映数据扰动,而非稳定的模型差异。一个可检验的小实验是在固定被试内划分和相同共享试次上比较多个随机种子训练的解码器,检验紧凑 TRD 相对完整观测的模型间关系保持程度,以及该结果对试次重采样的稳定性。相关 EEG 工作尚未检索确认。
值得核对 RD 与 TRD 如何将成对表征相似性扩展为模型群体结构分析,以及 SGSO 在固定观测预算下保留模型间关系的效果;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net