何时表征才是充分的?用于神经架构搜索的探针 V-信息
When is a Representation Sufficient? Probe $\mathcal{V}$-Information for Neural Architecture Search
基于摘要分析。本文研究如何判断神经表征是否已包含完成任务所需的信息,并提出渐进式架构搜索方法 V-NAS,以基于探针的 V-information 替代难以估计的 Shannon 信息,为模型宽度与深度的容量控制提供可计算判据。 原文以 I(X;Y | Z)=0 定义表征 Z 的任务充分性,即给定 Z 后,输入 X 不再含有额外的任务相关信息。V-NAS 使用受限探针的交叉熵衡量表征中可提取的预测信息,据此判断增加宽度或深度是否带来有意义的收益。需要区分:相对于受限探针的可提取信息,不等同于完整的 Shannon 信息;探针能力与训练质量是否影响容量判断,是阅读正文时应核对的关键问题。 作者报告,在多个数据集与架构家族上,V-NAS 找到了更紧凑的架构,以显著较低的成本匹配更大基线的性能。摘要未给出具体数据集、划分、性能指标、成本口径或数值,因此目前不能量化收益,也不能判断成本是否包含搜索与探针训练。探针定义、搜索与停止规则、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是利用任务监督下的探针评估控制模型容量,可能用于检验小样本 EEG 解码中扩宽或加深是否仍有收益;这不构成已验证的 BCI 效果。可复用的是探针评估与渐进式容量选择思路,需改造 EEG 输入编码,并在训练数据内部完成架构选择。低信噪比、通道差异和跨被试分布变化可能使探针低估有效信息,导致过早停止扩容。一个可证伪的小实验是在固定的跨被试 EEG 划分下,仅用训练被试内部验证选择容量,再与固定宽深架构比较留出被试的同一任务指标及总计算成本。已有 EEG 相关工作尚未检索确认。
值得核对的是,V-NAS 如何用受限探针的交叉熵判断扩宽或加深的收益,以及这种可提取信息判据能否在计入搜索与探针训练成本后仍实现有效的容量控制。
来源:OpenReview · Representation learning · openreview.net