特征学习如何改变函数空间的演化?
How does feature learning change the function space evolution?
基于摘要分析。该论文研究两层神经网络在梯度下降训练中,特征学习如何改变其赋予的函数空间(如 RKHS)。核心贡献是将早期特征更新刻画为目标依赖的协方差变形,并通过对应积分算子的谱分析,解释这种变形如何优先增强与教师信号对齐的方向,而非仅对固定核进行整体缩放。 作者报告,在高维比例渐近条件下,更新后的特征分布可由具有目标依赖尖峰结构的高斯协方差近似描述;由此得到的变形核,可写成原始各向同性核作用于经过几何变换的输入。作者证明,全局特征值衰减率保持不变,但尖峰结构会选择性改变领先特征子空间。这区分了函数空间整体谱衰减与目标相关方向变化,不能据此直接推断下游预测性能提高。 对于 ReLU,作者给出显式扰动展开:特征学习提升与目标方向对齐的线性特征函数的特征值,并使领先径向特征函数与目标对齐的二次谐波发生混合。摘要未提供高维比例关系的具体定义、输入及教师模型假设、更新步数或步长等信息;理论条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码的监督目标能够在输入表示中形成稳定方向,这一机制可能为分析早期训练如何重塑任务相关核谱提供理论视角。可复用的是更新前后核谱及目标对齐方向的分析框架;需改造的是 EEG 输入表示、通道与时间结构,以及对非各向同性数据的处理。低信噪比、小样本和被试差异可能使估计的目标方向不稳定,模型也可能增强伪迹或被试特征,而非任务信息。一个可证伪的小实验是在固定被试内训练与测试划分下,对比两层 ReLU 网络更新前后的经验核谱,并以固定特征核为对照,检查目标对齐谱变化是否伴随独立测试集表现改善。该实验仅检验机制对应,不直接验证原论文的渐近定理;已有 EEG 相关工作尚未检索确认。
该研究以核的几何变形和谱变化刻画早期特征学习,值得用于理解神经网络相对固定核方法的差异,但其理论适用条件及对 EEG 的迁移价值尚未验证。
来源:OpenReview · State space models · openreview.net