当动力学尚未最优时:分离表征学习中的动力学归纳偏置
When Dynamics Are Suboptimal: Isolating Dynamics Inductive Bias in Representation Learning
基于摘要分析。本文研究表征与动力学联合学习时,尚未充分拟合的动力学参数如何影响表征形成,并提出 Asymmetric Coupling Warm-up(ACW),在训练早期暂时减弱动力学对表征的耦合,以干预这一影响。 理论分析比较了当前动力学参数诱导的表征梯度与给定拟合准则下、动力学充分拟合参照所对应的梯度。在通过对动力学拟合目标关于表征参数求导来获得表征梯度的典型情形中,作者指出,两者之差恰好是动力学参数次优性差距的梯度。这一区分有助于将动力学模型类别及拟合目标本身的归纳偏置,与动力学参数尚未达到拟合参照所产生的影响分开考察。 作者报告,在序列潜变量模型的受控实验中,动力学参数的次优性会改变表征形成,并影响学得的动力学质量,且该影响在表征形成早期最明显。作者还报告,将 ACW 应用于不同的表征—动力学范式,会带来一致的优化轨迹变化及下游结果变化;摘要未给出具体任务、基线、指标或变化方向,不能据此认定其普遍提升性能。ACW 的衰减形式、持续时间、额外开销,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 时序表征模型也联合优化表征与潜在动力学,该机制可能对应训练早期动力学拟合不充分对表征更新的干扰;这依赖于模型中存在明确的动力学拟合目标及其向表征传播的梯度路径。可复用的是早期耦合调节思路,需按 EEG 任务改造耦合位置与调度。低信噪比、通道差异及小数据可能使动力学难以拟合,也可能使减弱耦合损失有用的时序约束。一个可检验的小实验是在固定跨被试划分和训练预算下,对同一 EEG 联合模型比较原始训练与 ACW,记录早期梯度变化、动力学拟合误差及下游任务指标。该假设不代表已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。
值得关注其对动力学参数未充分拟合所引入的表征梯度偏差的理论刻画,以及 ACW 对训练早期耦合的干预,但具体收益与适用边界尚待全文验证。
来源:OpenReview · Representation learning · openreview.net