超越两两相关：自监督表征学习中的高阶冗余

基于摘要分析。本文研究自监督表征学习中仅通过特征两两相关衡量冗余的局限，形式化定义嵌入空间冗余，并引入能够捕捉高阶依赖的度量。在此基础上，作者提出 Self Supervised Learning with Predictability Minimization（SSLPM），以可预测性最小化减少嵌入空间中的依赖。 机制上，SSLPM 将编码器与预测器置于竞争过程中：编码器尝试减少特征依赖，预测器尝试利用这些依赖。作者还从数学上分析不同冗余度量之间的关系，并在常见自监督方法的嵌入空间中测量冗余。摘要未提供具体预测目标、损失形式、训练交替方式或防止表征坍塌的机制，这些实现条件尚未验证。 作者报告，SSLPM 的表现可与先进方法竞争，且表现最好的自监督方法具有较低的嵌入空间冗余；作者据此推测，即使没有显式冗余削减机制，一些方法也可能隐式减少冗余。摘要未列出数据集、任务、评估协议、基线或数值，因此不能量化其优势，也不能将该关联视为冗余降低必然改善性能的因果证据。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 编码器的特征在两两去相关后仍存在可预测的高阶依赖，SSLPM 的竞争式预测机制可能用于约束这类冗余；可复用的是嵌入空间度量及编码器—预测器机制，需改造的是 EEG 编码器、输入视图构造及任务相关信息保留约束。其效果依赖可学习的特征依赖和足够的训练数据，摘要未说明监督需求与训练规模。在低信噪比、通道变化、跨被试差异及小数据条件下，预测器可能拟合噪声，或将任务所需的共享信息当作冗余移除。一个可证伪的小实验是在固定 EEG 数据划分、编码器及下游评估协议下，对照两两去相关与高阶可预测性约束，同时测量冗余和任务表现，检验前者降低是否伴随后者改善。相关 EEG 工作尚未检索确认。