用于表格表征学习的基于多项式的自注意力

基于摘要分析。本文研究表格数据 Transformer 中的自注意力过平滑问题，提出利用矩阵多项式构造的自注意力层，以替换原有自注意力层，改善表格表征学习。主要研究对象是结构化表格数据，而非 EEG 或 BCI。 核心机制是以矩阵多项式改造注意力运算。作者指出表格 Transformer 同样存在过平滑，并将缓解这一问题作为方法设计目标；摘要还称该替换层有助于改善模型可扩展性。但多项式作用于何种矩阵、阶数如何选择、系数是否可学习，以及计算与存储开销均尚未验证，不能仅凭摘要判断其具体实现或复杂度优势。 作者报告，在三个具有代表性的表格学习模型中装入该层后，能够缓解过平滑并提升表征性能，优于所比较的先进表格表征方法。摘要未提供模型名称、数据集、任务、划分、评价指标或具体数值；实验协议、消融及统计信息尚未验证。复现需进一步核对原始注意力与替换层的训练条件、过平滑度量，以及性能和资源开销的对照。 平台推测（待验证）：若 EEG 被组织为固定列的通道或频段特征表，并使用自注意力学习特征交互，该机制可能用于检验表征是否因过度混合而失去区分度。这一假设依赖原方法对表格结构、监督信号及数据规模的具体要求；可尝试复用注意力替换层，但 EEG 特征构造、通道对应和跨被试归一化仍需适配。低信噪比、小样本及被试差异可能掩盖收益，通道配置变化也可能破坏固定列语义。可在固定的跨被试划分下，仅替换同一基线的注意力层，同时比较原任务指标、表征相似性和计算开销，以检验改善是否同时存在。相关 EEG 工作尚未检索确认。