交互系统中的表征选择性
Representation Selectivity in Interacting Systems
基于摘要分析。本文研究容量受限时,交互系统的表征应在各子系统分别压缩前形成关系信息,还是在压缩后重建关系信息。核心贡献是考察这一选择与预测目标的相互作用,并将其称为 representation selectivity(表征选择性):表征保留什么信息,不仅取决于架构,也取决于训练要求它预测什么。 机制上,压缩前同时获得两个系统的信息,可以直接形成紧凑的关系量;若先分别压缩,为后续重建关系,可能需要保留更丰富的局部信息。研究采用受控非线性系统,区分关系结构、物理耦合与表征容量的影响。摘要未提供具体模型结构、损失形式、容量设置或系统参数。 作者报告,在同一交互物理系统上,以未来状态为预测目标时,压缩前合并两个系统的信息基本没有收益,尽管未来状态预测明显优于常数基线;以物理交界处的力和相对运动为预测目标时,提前获得两个系统的信息则带来较大且一致的优势。摘要未提供指标数值、数据划分与统计检验,实验协议、消融及统计信息尚未验证。这一结果不能概括为提前融合普遍优于后期融合,而应限定于预测目标及容量约束。 平台推测(待验证):若 EEG 任务确实依赖跨通道或跨脑区关系,该机制可用于检验“先独立压缩、后融合”是否损失任务相关信息。可复用的是压缩时机与预测目标的对照思路,而非已验证的 EEG 模型;需改造输入编码、关系目标及监督方式,并明确关系量是否可由数据可靠估计。低信噪比、通道配置差异、跨被试变化和小样本可能使提前融合保留伪相关,而非有效关系。一个可证伪的小实验是,在同一 EEG 数据划分与匹配的表征容量下,对比提前融合和分别压缩后融合,并分别采用局部信号预测与预先定义的跨通道关系预测目标,检验融合收益是否随目标变化。已有 EEG 相关工作尚未检索确认。
值得核对其受控实验如何区分压缩时机与预测目标的作用,因为作者报告同一交互系统中两类预测任务对提前融合信息的收益明显不同,但其对 EEG 表征学习的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net