仅用交叉熵即可逆推数据生成过程
Cross-Entropy Is All You Need To Invert the Data Generating Process
基于摘要分析。本文研究监督分类为何能够学到可线性解释的潜在变化因素,将非线性 Independent Component Analysis 的可辨识性结果扩展至参数化实例判别,并进一步联系到以交叉熵最小化为目标的监督学习。作者证明:在特定数据生成过程(DGP)下,标准分类模型能够恢复真实变化因素的表征,但允许相差一个线性变换;这不是对任意分类数据或任意 DGP 的无条件保证。 核心机制是借助潜在结构的可辨识性解释表征学习,而非提出新的 EEG 解码架构。恢复到线性变换意义下的潜在因素,也不等同于每个表征维度都与单一因素一一对应。具体 DGP 条件、分类监督如何约束潜变量,以及证明所需的模型与分布假设,均需阅读全文核对。 作者报告,在符合理论假设的模拟数据上实现了潜在因素解耦;在 DisLib 解耦基准上,简单分类任务能够恢复相差线性变换的潜在结构;在 ImageNet 上训练的模型,其表征支持对代理变化因素进行线性解码。三类实验分别涉及受控生成因素、解耦基准和自然图像代理因素,不宜视为同等强度的真实潜变量恢复证据。摘要未给出具体指标、数据划分或对照数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 的任务标签与潜在因素满足相应 DGP 条件,该理论可能有助于分析交叉熵训练所得表征的线性可解码性,但不能据此认定模型会自动分离任务活动与伪迹。可复用的是分类训练与潜在因素线性探测的分析思路,需改造的是符合 EEG 时空混合、噪声及被试差异的生成设定。一个可检验的小实验是在已知潜在因素的合成 EEG 中训练分类器,再用独立测试数据线性恢复这些因素,对比满足与偏离理论条件时的表现;低信噪比、通道混合变化及小数据可能使恢复失败。已有 EEG 相关工作尚未检索确认。
值得核对的是交叉熵分类获得潜在因素线性可辨识性的具体数据生成假设,以及模拟数据、DisLib 与 ImageNet 实验分别为该理论提供了何种证据;其对 EEG 表征的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net