通过复杂度最小化建立元学习的可证明数据缩放定律
Provable Data Scaling Law for Meta Learning via Complexity Minimization
基于摘要分析。本文研究预训练数据规模增加为何能够降低下游任务的样本需求,提出 complexity minimization 元表征学习框架,以适合各源域的下游模型复杂度为优化依据,为元训练数据规模与少样本适应性能之间的关系提供理论解释。 核心机制是评估各域所适用的下游模型复杂度,再最小化源域之间最坏情形的复杂度。作者报告,其理论分析覆盖从预训练到下游回归的流程,并在该框架下证明少样本适应的误差率随元训练数据量增加而改善。摘要没有给出复杂度的数学定义、理论成立的分布假设、数据规模的具体计量方式或误差界形式,因而尚不能判断该结论的适用范围。 实证方面,作者报告,将复杂度正则化加入现有元学习方法能够持续改善下游样本效率;具体任务、数据集、对照方法、数据划分、改善幅度以及消融和统计信息尚未验证。其价值主要在于提供一个可分析的表征学习目标,而非摘要已证实某种普遍适用的预训练缩放规律。 平台推测(待验证):若将不同 EEG 被试或会话视作源域,该机制可能为跨被试少样本适应提供正则化思路。可尝试复用复杂度正则化思想,但需明确 EEG 下游解码器的复杂度度量及源域定义;理论是否依赖共享表征、域间相似性或特定数据规模条件仍需核对。低信噪比、通道差异及小样本下不稳定的复杂度估计,可能使最坏域目标受到噪声主导。一个可检验的小实验是在固定 EEG 解码器、严格隔离目标被试的条件下,对比加入与不加入该正则化的元学习方法,分别控制源被试数量和每个源被试的样本量,观察目标被试少样本学习曲线。相关 EEG 工作尚未检索确认。
值得阅读的是其将下游模型复杂度作为元表征学习目标,并尝试从理论上连接元训练数据规模与少样本适应误差;理论假设及其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net