跳到正文
OpenReview · Representation learning· Gabriel Y. Arteaga; Marius Aasan; Rwiddhi Chakraborty; Martine Hjelkrem-Tan; Thalles Silva; Michael Kampffmeyer; Adín Ramírez Rivera·· 2026-01-26精选AI 评分76

原型为何坍塌:诊断与预防原型式自监督学习中的部分坍塌

Why Prototypes Collapse: Diagnosing and Preventing Partial Collapse in Prototypical Self-Supervised Learning

AI 导读

基于摘要分析。本文研究原型式自监督学习中的部分原型坍塌,即多个原型收敛到近乎相同的表示,并提出将原型与编码器完全解耦训练,以维持原型作为学习目标的多样性。 核心机制:作者通过实证分析将坍塌追溯到编码器与原型的联合优化,认为训练早期原型会通过趋向冗余表示降低损失,形成不一定有助于表示多样性的捷径学习。所提方法将原型建模为 Gaussian mixture,通过 online EM-style procedure 更新,且更新独立于编码器损失,使原型与编码器分别接受不同目标的优化。摘要未给出具体目标函数、混合模型参数化或更新细节。 作者报告,该解耦策略无需显式正则化即可消除原型坍塌,并持续得到多样化原型;在若干实验设置中,这种多样性也转化为下游性能提升。但摘要未说明数据模态、数据集、评估协议、基线及具体指标,不能据此判断收益幅度或适用范围;实验协议、消融及统计信息尚未验证。尤其需要核对多样性如何度量,以及性能收益是否主要来自解耦机制。 平台推测(待验证):若 EEG 自监督模型使用可学习原型作为目标,该方法可能用于缓解目标冗余,但这不等于已证实的 BCI 收益。其迁移依赖编码表示与高斯混合建模的适配性;可复用独立原型更新机制,需改造 EEG 分段、增强和特征归一化。低信噪比、被试或通道差异可能使多样原型主要反映噪声或个体身份,小数据也可能造成在线估计不稳定。一个可证伪的小实验是在固定 EEG 编码器、增强策略及跨被试划分下,仅替换原型更新方式,同时比较原型冗余程度与下游任务指标;若仅提高多样性而不改善任务表现,则不支持其任务收益假设。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究将原型部分坍塌归因于编码器与原型的联合优化,并提出以独立在线 EM 式更新解耦训练,值得核对其诊断证据、原型多样性与下游性能之间的关系。

来源:OpenReview · Representation learning · openreview.net