Representation Shift：统一 token 压缩与 FlashAttention

基于摘要分析。本文研究 token 压缩与 FlashAttention 难以兼容的问题，提出无需训练、模型无关的 Representation Shift 指标，通过衡量每个 token 的表征变化程度支持 token 压缩，无需构建注意力图或重新训练。 原问题包含两类开销：自注意力随 token 数量增长的二次计算成本，以及 GPU 显存访问开销。既有 token 压缩方法通过丢弃冗余或信息量较低的 token 减少计算，但许多无需训练的方法依赖注意力图判断重要性；FlashAttention 则通过避免显式构建注意力图及相关 HBM 读写降低访存开销。本文的核心贡献是绕开这一依赖，使两种优化能够结合。摘要未给出表征变化的具体计算公式、测量位置、压缩比例或 token 选择规则。 作者报告，在视频文本检索和视频问答任务中，加速幅度分别最高为 5.5% 和 4.4%；摘要未说明对应模型、数据集、硬件、计时范围、对照配置及任务性能变化，因此这些数字不能直接推广为其他设置下的端到端收益。作者还称该方法可扩展至 CNN 和状态空间模型，并提供了代码链接；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG Transformer 的长时序或多通道 token 存在冗余，这种不依赖注意力图的重要性指标可能用于降低推理开销。可复用的是表征变化度量思路，需要改造和验证的是 EEG token 的时间、通道结构及压缩策略。低信噪比可能使噪声产生较大的表征变化，而幅度较小的任务相关信号可能被误删；跨被试差异与小数据也可能影响压缩稳定性。一个可检验的小实验是在固定的跨被试划分和硬件上，对同一 EEG 模型比较仅用 FlashAttention、加入 Representation Shift 压缩及等比例随机压缩，联合记录任务指标、推理延迟和显存占用。该假设尚无本材料中的 EEG 实验证据支持，已有 EEG 相关工作尚未检索确认。