探究数据表示对 transformer 学习的影响

基于摘要分析。该研究探讨输入表示如何影响 transformer 学到的计算机制：作者将同一排列编码为不同表示，训练小型 transformer 计算排列统计量，以固定底层对象、改变输入表示的方式建立受控的可解释性研究测试环境。 方法上，作者结合线性探针、注意力头消融和表征相似性度量，分析不同输入表示下模型内部计算的异同。这一设计旨在区分模型是否学到相近机制，而非仅比较任务输出是否正确。摘要未提供具体表示方式、模型配置、训练规模和统计量的完整列表。 作者报告，在所研究的排列统计量任务中，不同输入表示之间的机制趋同具有任务依赖性：计算最长递增子序列长度的模型表现出相似的内部计算，而计算其他统计量的模型行为更为多样，其中包括表示特定的算法。摘要没有提供定量结果，因此尚不能判断趋同的程度、稳定性及其对模型规模的依赖；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其受控比较思路可用于检验 EEG 不同输入表示是否诱导不同的学习机制，但排列是结构明确的离散对象，不能直接代表低信噪比、跨被试变化的 EEG。可复用的是固定底层样本与任务、改变表示后联合开展探针和消融的分析流程；需改造输入编码及探针目标。一个可检验的小实验是在相同 EEG 样本、标签、被试划分和模型容量约束下，比较两种预先指定的表示，并检验机制差异是否跨随机种子稳定。需警惕表示变换的信息损失、通道差异及小样本探针过拟合造成假象；已有 EEG 相关工作尚未检索确认。原论文结果不构成 EEG 或 BCI 有效性的证据。