ScaleFormer：面向长上下文 Transformer 的跨度表征累积

基于摘要分析。ScaleFormer 针对标准自注意力的二次复杂度及部分高效 Transformer 需要修改架构、从头预训练的问题，提出即插即用框架，将现成预训练编码器—解码器模型适配到长文本处理。其主要研究对象是长文档摘要，而非 EEG 或 BCI。 方法将长输入切分为重叠片段，为解码器构造压缩且包含上下文的表征。核心是无参数融合机制：利用所有前序与后续片段的累积上下文向量增强各片段的边界表征，使局部片段获得其在文档中的位置与叙事顺序信息。作者称该策略实现线性复杂度，且不需要修改模型架构或引入外部检索；复杂度是否涵盖编码、融合及解码全过程，仍需全文核对。 作者报告，在长文档摘要实验中，该方法具有竞争力，并经常优于现有先进方法。摘要未提供数据集、预训练骨干、序列长度、划分方式、对照方法或具体指标，因此无法判断收益幅度及适用边界；实验协议、消融及统计信息尚未验证。无参数融合不等于整个框架无需训练，具体训练流程也尚未验证。 平台推测（待验证）：其可复用机制是“重叠分块＋跨块累积上下文”，可能对应 EEG 长记录处理中计算开销与跨片段依赖难以兼顾的瓶颈。原方法依赖有序文本及预训练编码器—解码器表征；迁移需改造 EEG 片段编码、边界表征和任务输出，不能直接将文本叙事结构等同于神经时间动态。低信噪比可能使累积上下文传播伪迹，跨被试差异、通道不一致和小数据也可能削弱融合收益。可在固定 EEG 编码器及严格隔离的跨被试划分下，对比独立分块、简单池化与累积融合，并同时记录任务指标、显存及运行时间，以检验是否确有长程收益。已有 EEG 相关工作尚未检索确认。