用于表格表示学习的多项式自注意力

基于摘要分析。本文研究表格数据 Transformer 中的过度平滑问题，提出以矩阵多项式构造的自注意力层替换原自注意力层，目标是缓解表示过度平滑并提高模型可扩展性。主要研究对象是表格表示学习，而非 EEG 或 BCI。 机制与证据：作者指出，自注意力引发的过度平滑也存在于表格 Transformer 中，并将矩阵多项式自注意力作为可替换模块。作者报告，在三个具有代表性的表格学习模型中加入该层后，能够缓解过度平滑、改善原方法的表示性能，并优于所比较的先进表格表示方法。摘要未给出模型名称、数据集、任务、指标或具体分数，因此无法判断提升幅度及适用范围，也不能据此确认计算或存储效率的改善。多项式作用的具体矩阵、阶数、系数学习方式、训练目标、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设仅适用于将 EEG 窗口特征组织为表格、并使用自注意力处理特征表示的情形；若该模型确实存在表示过度平滑，替换注意力层可能值得检验。可复用的是注意力层替换思路，需要适配的是 EEG 特征编码与通道对应关系；原方法对监督信号、数据规模及表格结构的依赖尚未验证。低信噪比可能使表示趋同难以与噪声效应区分，跨被试分布差异、通道缺失及小样本也可能抵消潜在收益。一个可证伪的小实验是在固定 EEG 表格特征和 Cross-subject 划分下，仅替换注意力层，同时比较分类指标、表示相似度与计算成本。已有 EEG 相关工作尚未检索确认。