跳到正文
OpenReview · Representation learning·· 23 天前精选AI 评分77

超越任务成功:表征复用理论

Beyond Task Success: A Theory of Representation Reuse

AI 导读

基于摘要分析。本文研究通用表征学习中的复用问题:源任务成功并不保证移除原任务头后,编码器仍能支持监督有限的后续任务。其核心贡献是相对于指定的未来任务族定义表征需求,并区分“结构可访问性”与“坐标一致性”两类复用条件。 理论框架将“任务相关状态”定义为对任务族中所有任务均充分的最粗确定性状态。任务族扩大可能要求更细的状态;若表征丢失某个必要区分,则在包含该冲突的目标支持集上,至少一个后续任务无法恢复。结构可访问性关注所需区分是否仍可恢复,坐标一致性则关注同一套下游规则能否跨样本一致地解释这些区分。因此,信息仍被保留与信息能被共享下游规则有效使用并非同一条件。 作者报告,两类失败模式在实验中可分别出现;任务相关区分越容易访问,复用表现越好。依赖样本的可逆坐标变换即使不破坏表征的可恢复性,也可能显著降低复用表现,而逆转对应变换可恢复性能。作者还报告,在预先指定的 CIFAR-100 实验中,ResNet-18 与 DenseNet-121 均呈现相同的可访问性—复用排序;保留包含预期任务族所需区分的候选状态,可改善兼容的留出任务表现,目标监督有限时收益最明显。摘要未提供具体指标、数据划分、下游规则容量或训练细节,实验协议、消融及统计信息尚未验证。 平台推测(待验证):这一框架可能对应 EEG 表征迁移中的两个瓶颈——预训练表征是否保留后续任务所需区分,以及跨被试、跨会话的表征坐标变化是否妨碍共享解码器。可复用的是任务族定义与信息保留/坐标一致性的分离检验,需改造的是 EEG 候选状态、任务定义及对齐方式;低信噪比、通道差异和小样本可能使状态估计或对齐失效。一个可检验的小实验是冻结同一 EEG 编码器,在固定划分与标签预算下,比较原表征、已知的样本依赖可逆坐标变换及其精确逆变换后的下游表现,检验信息保留是否足以保证复用。该实验仅检验机制,不证明真实被试差异可被逆转;相关 EEG 工作尚未检索确认。

阅读价值

该研究把表征复用失败区分为任务所需信息丢失与坐标不一致,为检验“源任务表现好是否意味着表征可迁移”提供了具体分析框架,但其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net