缩小规模下的缩放定律：资源受限大语言模型的参数效率与计算最优训练
基于摘要分析。本文综述资源受限环境中的 LLM 缩放理论与高效训练，关注如何在模型性能、参数数量、token 分配、计算成本和硬件约束之间配置资源。其贡献是将经验缩放定律、计算最优训练及多类效率优化研究组织为一个统一框架，而非提出已验证的新模型或训练算法。 技术脉络上，综述从基础缩放定律延伸至计算最优训练，并纳入数据剪枝、高效架构、量化、低秩适应与面向边缘设备的优化。作者强调参数效率、token 利用和数据效率，认为效率评价不应仅关注模型性能，还应考虑取得该性能所需的资源及硬件条件。摘要未给出各方法的具体机制、比较协议或定量收益，因此不能据此判断哪一种方案在有限预算下更优。 作者归纳认为，相关文献体现了从规模最大化转向更审慎资源分配的变化；同时，企业级基础设施上建立的缩放原则能否推广至较小模型与受限计算环境，仍存在经验、理论和方法学上的未解决问题。这是综述作者的判断，不等于已证实小模型遵循相同定律。全文的文献覆盖范围、筛选标准、统一框架细节及比较证据尚未验证。 平台推测（待验证）：该综述可为 EEG 基础模型的有限预算训练提供资源核算思路，但文本 token 与 EEG 时序片段的数据结构、监督方式及有效信息量不同，不能直接套用 LLM 的最优配比。低信噪比、跨被试差异和小数据条件也可能改变资源投入与性能的关系；相关 EEG 工作尚未检索确认。