跳到正文
arXiv · 学习目标与优化· Tianyu Zhao; Zhixiang Ren·· 1 天前精选AI 评分70

缩放定律的理论基础

Foundations of the Scaling Law

AI 导读

基于摘要分析。本文研究验证损失如何随模型规模、训练暴露量与计算量变化,通过几何近似、谱分析和约束优化三条相互关联的分析路径,解释经验 scaling law 及其资源分配含义。主要研究对象是通用学习系统,并以视觉和分子预测说明领域特定坐标如何改变资源比较,而非直接研究 EEG 或 BCI。 在机制层面,几何近似将空间分辨率、内在维度和平滑性联系到函数近似误差,再由损失函数决定该误差如何转化为任务风险。谱分析结合特征可见性、协方差特征值与目标对齐关系,描述新增数据如何减少尚未被学习解释的预测成分。约束优化则用于推导参数与数据的配置平衡,以及训练成本和推理成本之间的权衡。 本文还讨论 emergence 与 grokking,区分评分阈值引起的表现变化和学习动力学;对 test-time scaling,则区分候选覆盖程度与最终所选答案的准确性。作者报告,SE(3) 案例量化了商空间近似收益对维度的依赖,并比较优化后的计算资源前沿,同时分别分析构象覆盖与相关样本的精度问题。摘要未提供具体公式、数据集、数值结果或对照协议,相关推导、实验协议、消融及统计信息尚未验证。 平台推测(待验证):谱分析中“协方差谱—目标对齐—数据收益”的路径可作为研究 EEG 数据扩展收益的候选分析工具,但依赖可稳定估计的特征协方差及目标关系,不能据此认定 EEG 遵循同一缩放规律。可复用的是谱与资源配置的分析框架,需适配的是 EEG 特征表示、跨被试与跨会话非平稳性及有效样本量估计。低信噪比、通道差异和小数据可能使谱估计失稳。一个小规模可证伪实验是固定任务、特征与模型,在严格隔离的被试内和跨被试划分中逐步增加训练数据,检查谱与目标对齐量能否预测留出集损失变化;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于将几何近似、谱分析与资源约束优化串联起来,并区分评分阈值与学习动力学、候选覆盖与答案选择准确性,为审视 scaling law 的适用条件提供理论框架;其具体推导与实证支持尚未验证。

来源:arXiv · 学习目标与优化 · arxiv.org