LightMTP：轻量级潜在多 token 预测

基于摘要分析。LightMTP 针对大语言模型 next-token prediction（NTP）仅显式监督紧邻下一 token、可能偏重局部模式的问题，提出参数高效的 latent multi-token prediction（MTP），利用模型自身隐藏状态构造未来 token 表示，将监督扩展至多个未来 token。 机制与对照：常规 MTP 直接预测多个未来 token，但可能引入较多参数；已有 latent MTP 将未来 token 编码为向量表示，却通常依赖外部辅助模型。LightMTP 的核心区别是从模型自身隐藏状态自举未来表示，减少对外部编码器或监督来源的依赖。摘要提出两个变体，但其结构差异、未来 token 覆盖范围、损失形式及表示更新方式尚未验证。 结果与效率：作者报告，LightMTP 至多增加 1% 参数，在通用语言建模基准上保持更好的性能，并在 planning、coding 和 reasoning 任务上取得相近增益；作者还称其无需常规 MTP 的额外计算开销。摘要未提供具体模型规模、基准名称、分数、对照设置或计算成本测量方法，因此不能据此量化收益，也不能将参数增量直接等同于训练或推理耗时增量。 复现与适用边界：需核对未来隐藏状态的构造及监督路径、训练与推理阶段的计算需求，以及实验协议、消融和统计信息。上述信息尚未验证。该材料研究语言模型预训练，未提供 EEG/BCI 验证；其监督机制能否迁移至脑信号时序建模仍待评估，已有 EEG 相关工作尚未检索确认。