模型空间与特征：语言模型内部表征分析

基于摘要分析。该研究考察模型资源如何塑造语言模型的内部表征，以及表征组织与任务性能之间的关系。作者以随机合法走子序列训练的 decoder-only Transformers 为对象，在 Othello 和 Chess 中利用规则定义的棋盘状态属性作为共同参照，分析特征几何与叠加（superposition）。 作者报告，在宽度、深度及 FFN 结构不同的 128 个 Dense 和 Mixture-of-Experts 模型中，增加宽度主要使已有表征的状态方向进一步分离，而依赖顺序的状态属性更依赖深度和 FFN 容量。这一区分提示，不同资源配置可能分别影响特征分离程度与状态属性的表征能力，不能仅以统一的容量指标解释。 作者报告，特征维度总和与性能的关系具有任务差异：Chess 的 source-square prediction 与该指标紧密关联；更深的 Othello 模型则能在相近指标值下改善候选排序。沿估计特征方向实施干预会因果性地改变相应输出概率。作者还报告，excess loss 与特征维度总和近似呈对数线性关系，拟合关系可迁移至未参与拟合的 FFN 结构。摘要未给出具体分数、特征维度估计方法、数据划分或干预细节；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可借鉴之处是用明确属性参照、几何测量和方向干预共同检验表征，而非直接提供 BCI 解码方法。迁移假设是，这一路径可用于区分 EEG 模型的容量增长究竟改善任务相关方向分离，还是增强时序属性表征；但棋盘状态具有确定规则，EEG 的潜在状态更难获得可靠监督。可复用的是分析框架，需改造属性定义与干预有效性检查，低信噪比、跨被试及通道差异、小数据条件均可能使方向估计不稳定。一个小规模检验是在固定被试内划分与训练预算下分别改变宽度和深度，检查预先定义的任务属性方向、干预后输出变化与解码性能是否一致，并以随机方向作对照。已有 EEG 相关工作尚未检索确认。