面向分布外泛化的有损表征压缩
Lossy Representation Compression for Out-of-Distribution Generalization
基于摘要分析。本文研究分布外(OOD)泛化中不变学习仍可能保留非因果特征的问题,提出 Lossy Causal Feature Learning(LoCaL),通过有损编码率正则化学习到的表征,以促进更紧凑的特征表示。 作者指出,训练环境间的预测不变性虽能鼓励学习因果特征,却不必然从表征中移除非因果特征。其机制依据是:因果与非因果特征可占据表征空间的不同方向,同时编码两者会产生比仅编码因果特征更复杂的表征。有损编码率在几何上衡量给定精度下表征占据的体积;LoCaL 约束这一量,以鼓励低维、紧凑的表示,进而抑制非因果特征。具体损失形式、编码精度的设定及其与预测目标的权衡尚未验证,不能将表征压缩直接等同于因果特征识别。 作者报告,在多种数据集上的实验中,LoCaL 优于广泛的强基线,且多数改进具有统计显著性。摘要未提供数据集名称、划分协议、指标、具体增益及显著性检验细节;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 训练环境中的被试或会话差异主要体现为可与任务特征分离的干扰方向,该正则化可能有助于跨被试或跨会话泛化。可复用部分是表征层的编码率约束,需适配 EEG 编码器及通道配置;其依赖任务信息与干扰在表征几何上的可分离性。低信噪比、小数据或任务信息本身分布于多个方向时,压缩可能误删有效信号。一个可证伪的小实验是在固定跨被试划分下,仅增减该正则项,比较相同编码器的分类指标与表征有效维度,并检查不同压缩强度是否损害任务性能。相关 EEG 工作尚未检索确认。
值得关注其以有损编码率约束表征体积、补充预测不变性约束的机制,但压缩能否保留任务相关特征并抑制非因果特征,仍需结合全文中的假设、对照与统计结果核查。
来源:OpenReview · Representation learning · openreview.net