RanDumb:一种质疑持续表征学习有效性的简单方法
RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning
基于摘要分析。本文研究在线持续学习中持续更新的表征是否真正有效,而不仅关注灾难性遗忘与稳定性—可塑性权衡。作者提出 RanDumb:以预先固定的随机变换将原始像素映射为近似 RBF-Kernel 的特征,再逐样本在线训练线性分类器,不存储样本实例。 核心机制是将表征构造与分类器学习分离:随机变换在接触数据前初始化,学习过程中不更新该表征。作者报告,在其所评估的标准在线持续学习基准上,这种方法优于所比较的持续学习深度表征;摘要未列出具体数据集、指标、数值或基线配置,不能据此量化优势。作者还报告,在使用预训练模型且不存储样本实例的设置中,仅训练预训练表征之上的线性分类器,优于多数所比较的持续微调与 prompt-tuning 策略。后者应与直接使用原始像素的随机特征实验区分。 本文的可核对价值在于提供无需持续更新表征的对照,帮助检验复杂持续学习策略的实际增益,而非证明表征学习普遍无效。随机特征维度、RBF-Kernel 近似方式、线性分类器更新规则、预训练数据及评估划分均需查阅全文;实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但实现与运行条件尚未核验。 平台推测(待验证):固定表征加在线线性分类器可作为 EEG 持续解码的基线假设,但原研究对象是像素输入,并非 EEG 或 BCI。可复用固定随机映射与在线分类器,输入则需改为统一通道和时间窗的 EEG 特征;监督标签如何获得、通道差异与特征标准化均需明确。低信噪比、跨会话漂移及小样本可能使固定映射无法保持判别信息。一个可证伪的小实验是在相同 EEG 会话序列、标签可用性与不存储历史样本的条件下,对比固定随机特征、冻结预训练特征及持续更新表征,采用先预测后更新的评估并报告各会话 Balanced Accuracy。相关 EEG 工作尚未检索确认。
值得核对其固定随机特征与预训练特征线性分类器基线,以检验在线持续学习中的收益究竟来自表征更新还是分类器学习;摘要中的优势结论仍需结合完整评估协议验证。
来源:OpenReview · Representation learning · openreview.net