跳到正文
OpenReview · Representation learning·· 29 天前精选AI 评分78

如何复用表征

How to Reuse a Representation

AI 导读

基于摘要分析。本文研究表征复用时必须保留哪些信息,才能维持下游流程的决策及后续操作。核心观点是:即使可逆特征变换保持分类器所有 logits 不变,重新拟合的分布外(OOD)规则仍可能改变接受或拒绝哪些输入;因此,可丢弃的信息取决于表征声明的用途。 理论部分将表征与使用它的下游结构关联起来,考察拟合、选择和校准如何影响最终决策。作者报告,在无截距、采用求和损失的二次拟合中,固定满秩设计矩阵 X、惩罚项并保留 Xᵀy 后,若对所有实值目标 y 和查询均保持当前标签判定一致,则可将 Hessian 确定到一个正比例因子。若进一步要求追加一个指定的非零输入及其零目标值前后均保持一致,则在 d≥2 时可确定完整 Hessian。这表明,仅约束当前决策与同时约束后续数据追加操作,对信息保留的要求并不相同。 实验方面,作者报告:在保持分类器 logits 相同的受控 OOD 比较中,轻微特征重缩放使经过完整重新选择和重新校准的 ASH-B 接受/拒绝决策发生变化;在 24 个模型/OOD 比较中,决策变化比例的中位数为 6.42%。该数值不是分类 Accuracy 的下降。作者还报告,兼容构造在有效的已测试域上保持各自的决策规则。具体模型、OOD 数据集、变换幅度、实验协议、消融及统计信息尚未验证。 平台推测(待验证):这一机制可用于审查 EEG 表征复用中的 OOD 拒识稳定性,但原文并未验证 EEG 或 BCI 效果。可复用的是“保持 logits、改变特征坐标后重新拟合下游规则”的检验思路,需适配 EEG 编码器、分类头及拒识流程。小规模实验可在固定跨被试划分下施加可逆特征缩放,保持 logits 不变,再重新选择和校准拒识规则,比较接受/拒绝判定变化。低信噪比、被试与通道差异及小样本校准可能混淆结果,需单独控制;相关 EEG 工作尚未检索确认。

阅读价值

该研究以二次拟合的可识别性分析和保持分类器 logits 不变的 OOD 对照,具体说明“预测相同”不等于“表征可安全复用”,值得核对其下游操作兼容性条件。

来源:OpenReview · Representation learning · openreview.net