跳到正文
OpenReview · Representation learning·· 22 天前精选AI 评分75

相同信息,不同泛化:神经网络回归中的表示敏感性

Same Information, Different Generalization: Representation Sensitivity in Neural Network Regression

AI 导读

基于摘要分析。该研究考察受控合成表格回归中的表示敏感性:可逆特征变换虽保留预测信息,却可能改变有限样本下的学习表现。其核心贡献是通过配对实验匹配变换引入的总体非线性程度,再分析非线性结构、输入分布与学习器如何共同影响泛化。 实验以最优仿射近似下相同的归一化总体误差作为匹配条件,使不同变换具有相同的总体非线性程度,但允许非线性的结构不同。作者报告,在这一受控条件下,神经网络仍可呈现不同的学习曲线;当变换后的坐标分别用于定义输入或目标关系时,表示变换造成的性能代价排序可能反转。作为对照,作者报告 XGBoost 在所考察的变换下几乎不受影响;这一结论应限定于文中的合成回归实验,不能推广为其对任意可逆变换均稳健。 分析方法采用适配实际观测输入分布的投影,将非线性目标能量按多项式次数分解。作者据此指出,预测信息保持不变并不足以保证学习表现不变:目标在观测坐标中的非线性结构、输入分布以及学习器本身都影响神经网络的表示敏感性。具体变换形式、网络配置、样本规模、误差数值、数据划分、消融及统计信息尚未验证。 平台推测(待验证):该机制可能帮助理解 EEG 连续变量回归中可逆坐标变换为何改变小样本泛化,但原研究不是 EEG/BCI 验证。可复用的是配对比较及分布适配的非线性分解思路;迁移时需处理 EEG 的时序依赖、噪声、跨被试分布差异,以及高维条件下投影估计不稳定的风险。一个可检验的小实验是在固定被试内划分与训练样本规模下,对同一组 EEG 特征施加预先规定的可逆变换,比较神经网络与 XGBoost 的学习曲线,并仅用训练数据估计变换和投影参数。若效果不能跨重复划分稳定出现,则不支持其在该任务中的迁移假设。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究以匹配总体非线性程度的配对实验区分表示结构与信息量对泛化的影响,值得用于审视神经网络回归中的特征变换选择,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net