视觉 Transformer 的弯曲表征空间

基于摘要分析。本文研究 ViT、Swin 等视觉 Transformer 为何能够在面对输入损坏时表现出较高鲁棒性，却不表现出相应的过高预测置信度。核心贡献是通过局部输入扰动下的表征轨迹，提出弯曲表征空间对这一现象的机制解释；研究对象是视觉模型，而非 EEG 或 BCI。 作者在输入数据于小范围内线性移动时，考察倒数第二层输出在表征空间中的运动。作者报告，在所考察的模型和输入条件下，CNN 的输入与输出运动关系较为线性，而 Transformer 对部分数据表现出非线性响应，输出沿弯曲轨迹移动。作者据此解释：当样本位于弯曲区域时，表征并不沿直线接近决策边界，因此较难离开当前决策区域，形成较高的扰动鲁棒性。 作者还报告，轻微修改输入使其离开弯曲区域后，后续表征运动可以变得线性，并直接接近决策边界。这表明附近仍可能存在决策边界，局部轨迹弯曲使其较难被找到；作者以此解释 Transformer 的置信度偏低现象。摘要另提及 attention 对线性扰动产生非线性响应的数学性质、弯曲表征的影响因素及其训练演化，但未提供具体推导或实验细节。 数据集、模型配置、扰动构造、鲁棒性与置信度的评估指标、对照设置、消融及统计信息尚未验证。需结合全文核对“弯曲区域”的操作性定义，以及这一解释对不同输入和模型的适用范围，不能将其直接视为普遍的鲁棒性保证。 平台推测（待验证）：可检验的假设是，EEG Transformer 对局部信号扰动的稳定性也可能与表征轨迹弯曲有关。可复用局部扰动与中间表征追踪方法，但需将图像扰动改造为具有信号意义的 EEG 扰动；低信噪比、跨被试差异、通道配置和小数据训练均可能改变轨迹。一个小规模检验是在固定被试内划分下，对同一批 EEG 试次施加受控幅度扰动，比较 Transformer 与 CNN 的轨迹弯曲程度、预测变化和置信度，检验三者是否存在一致关系。该实验仅检验机制对应，不预设 BCI 性能提升；已有 EEG 相关工作尚未检索确认。