当表征对齐时:表征学习动态中的普适性
When Representations Align: Universality in Representation Learning Dynamics
基于摘要分析。本文研究不同深度神经网络架构为何会学习到定性相似的表征,并提出表征学习动态的有效理论,尝试刻画复杂、大型且足够灵活的模型中不依赖具体参数化细节的共同规律。 理论将输入到隐藏表征的编码映射,以及隐藏表征到输出的解码映射,假设为任意平滑函数。其适用前提是隐藏表征不受网络参数化的强约束,因此重点不是某种具体网络结构,而是这一近似下的表征演化。作者报告,在涵盖不同激活函数与架构的深度网络实验中,该理论能够描述表征学习动态的部分现象,并呈现与“rich”和“lazy”训练区间相似的行为。作者同时指出,许多网络行为在定量上仍依赖架构;共享规律不能理解为不同模型的表征或性能完全相同。 摘要未提供具体数据集、网络规模、训练设置、表征对齐指标或数值结果;理论方程、实验协议、消融及统计信息尚未验证。复现前需核对平滑映射假设如何转化为可计算的动态预测,以及“足够灵活”的模型范围和理论适用边界。 平台推测(待验证):该理论可作为研究 EEG 编码器跨架构表征相似性的分析框架,而非已经验证的 BCI 算法。可复用部分是编码—解码分解和动态分析思路;需依据全文改造 EEG 表征测量与训练轨迹比较方法。其依赖模型灵活性及输入—输出学习结构,EEG 的低信噪比、小样本、被试差异和通道变化可能使结构约束更强,削弱该近似。一个可检验的小实验是在固定被试内数据划分、监督任务与训练预算下,比较不同架构 EEG 编码器的表征演化,并检验全文所定义的共同动态是否随模型灵活性增加而更明显。已有 EEG 相关工作尚未检索确认。
值得阅读其以平滑编码与解码映射描述表征学习动态的有效理论,以核对不同架构共享行为的适用条件,但其对 EEG 表征学习的解释力尚未验证。
来源:OpenReview · Representation learning · openreview.net