用于高效大语言模型训练的随机化梯度子空间

基于摘要分析。本文研究大语言模型（LLMs）训练中由优化器状态带来的高内存开销，通过分析梯度空间及其子空间的动态变化，提出随机化算法 GrassWalk 和 GrassJump，以降低训练内存需求并改善预训练表现。主要研究对象是 LLM 训练优化，而非 EEG 或 BCI。 机制方面，已有方法将梯度投影到低维子空间以减少优化器状态开销。作者报告，虽然较小的子空间能够捕获大部分梯度能量，剩余部分仍包含不可忽略的能量；核心子空间的影响还会随训练推进及网络层加深而减弱。作者同时观察到梯度空间具有近乎平坦的曲率，并据此设计随机化子空间算法。摘要未说明曲率的具体定义、子空间更新规则、投影维数或如何处理残余梯度，尚不能据算法名称推断其实现。 结果方面，作者报告，在 LLaMA-1B 和 LLaMA-7B 预训练中获得了其所称的最先进内存节省效果，同时改善模型表现。但摘要未提供内存统计口径、性能指标、对照方法、训练数据及计算预算，无法判断收益大小或比较条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 基础模型预训练也受到优化器状态内存限制，随机化梯度子空间可能具有复用价值，但原领域结果不构成 BCI 有效性的证据。可复用对象是优化器与梯度投影模块，需核对其对 EEG 模型梯度结构和训练规模的适应性；低信噪比、小数据及跨被试差异下，低能量方向可能仍含有任务相关信息。一个可证伪的小实验是在固定 EEG 模型、数据划分和训练预算下，对比原优化器与上述方法的峰值训练内存、收敛曲线及同一跨被试协议下的任务指标。已有 EEG 相关工作尚未检索确认。