大型状态转移模型的训练动力学

基于摘要分析。本文研究神经序列模型中输入嵌入与输出预测头联合学习时，梯度训练何时能够获得准确预测，并在 softmax 状态转移模型中给出非共享与共享嵌入两种设置的理论保证。研究对象是具有离散状态的转移概率预测，不宜直接等同于一般 State Space Models 架构的训练结论。 模型包含 V 个状态，嵌入维度满足 d<V；从高斯初始化出发，使用精确总体梯度训练。理论假设真实转移规律的行中心化对数概率表具有低秩结构且元素有界。预测质量用 relative prediction gain（RPG）衡量，均匀预测对应 0，最优预测对应 1；该指标不是 Accuracy。 在非共享嵌入设置下，作者报告：当权重衰减量级为 1/V，且 V>d≥C√V 时，扰动梯度下降可在多项式时间内达到 RPG>7/8。以至少 1−e^(−cd) 的概率（c>0），这一保证在训练运行最后 1−1/d 比例区间内的每次迭代均成立，同时扰动保持固定尺度。该结论依赖上述模型、数据结构与总体梯度条件，不能直接推广到有限样本随机梯度训练。 对于共享嵌入，作者给出已观测当前状态上的训练保证；在真实特征覆盖和学习所得嵌入行有界的附加假设下，进一步给出未见当前状态上的预测保证。作者报告，采用实际参数选择的数值实验定性展示了持续训练增益与共享模型迁移，但摘要未提供具体数据、分数或对照细节。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 序列能够形成稳定的离散状态表示，且其转移规律近似满足低秩条件，这一分析可能为共享状态嵌入的训练与状态覆盖问题提供参考。可复用的是转移预测目标与嵌入共享设计，需要改造的是 EEG 状态构建和有限样本训练；低信噪比、被试差异及小数据可能破坏状态稳定性与特征覆盖。一个可检验的小实验是在固定 EEG 状态构建方式和相同数据划分下，比较共享与非共享嵌入对未见当前状态的 RPG，并检查低秩近似与覆盖条件。已有 EEG 相关工作尚未检索确认。