Ember：用于 token 接口的千字节状态优化器

基于摘要分析。该研究针对语言模型中连接离散符号与连续计算的 embedding 表和 LM-head，提出轻量优化器 Ember，旨在利用这类读写接口与稠密隐藏层权重不同的梯度几何，以更少的优化器状态支持训练。 机制与资源开销：摘要将 Ember 的优化器显存复杂度表述为 O(V+D)，对照 Adam 的 O(2VD)，其中 V、D 对应 token 表的词表与表示维度。作者称其仅需千字节级优化器状态，并可免于对这两类 token 表的优化器状态进行分片；但摘要未给出具体更新公式、状态构成，以及千字节开销对应的模型配置。上述复杂度针对优化器状态，不等同于模型训练总显存。 作者报告，Ember 在监督微调、RL 和预训练中改善了性能与资源开销之间的帕累托前沿，并提供了随 batch size 和参数规模扩展的实验证据；摘要未列出模型、数据集、指标或数值，实验协议、消融及统计信息尚未验证。作者还提出了关于足以支持 Transformer 训练的优化器设计空间为何较窄的解释，具体论证需查阅全文。 复现条件：作者称分布式实现可与 ZeRO/FSDP 集成，但材料同时标注代码待发布，不能据此认定实现已公开。该工作主要面向语言模型 token 接口，并非一般状态空间模型或 EEG 解码方法；其对 EEG/BCI 的适用性尚未验证，已有 EEG 相关工作尚未检索确认。