简单层级语言中的标度定律与表征学习：Transformer 与卷积架构的比较

基于摘要分析。本文研究神经语言模型在下一词元预测训练中如何习得语言的层级结构，并在 Random Hierarchy Model（RHM）生成的合成数据上推导性能标度定律，分析卷积网络与 transformer 的架构差异如何影响表征学习。 RHM 是一组概率上下文无关文法，旨在兼顾自然语言的层级结构与理论分析的可处理性。作者此前基于数据相关性提出理论，解释深度学习模型如何逐层捕获数据的层级结构；本文将该框架扩展至不同架构。其核心机制是架构与生成过程的匹配：卷积网络的局部性及权重共享与所研究生成结构相契合，而 transformer 依赖全局自注意力。 作者报告，在该合成层级语言与下一词元预测设置中，理论预测和实证验证均显示卷积网络具有更快的性能标度改善。摘要未提供标度自变量、指数、具体评价指标、模型配置或训练规模，因此不能将这一结论泛化为卷积网络在自然语言任务中普遍优于 transformer；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可供 EEG 研究借鉴的是“架构偏置是否匹配数据统计结构”的分析思路，而非直接迁移语言模型。假设目标 EEG 任务存在稳定的局部时序相关与多尺度层级结构，可复用相关性分析及架构对照框架，但需改造输入表示、时空局部性定义和预测目标。低信噪比、被试差异及通道布局变化可能破坏该假设，小数据下也可能无法可靠估计标度关系。一个可检验的小实验是在固定跨被试划分与训练预算下，对卷积和自注意力模型绘制随训练数据量变化的同一任务指标曲线，并通过扰动局部时序结构检验优势是否依赖局部相关性。该实验仅为迁移假设，相关 EEG 工作尚未检索确认。