面向长上下文的基于小波的位置表示

基于摘要分析。本文研究大规模语言模型在序列长度超出训练范围时的位置表示问题，提出利用小波变换构造多尺度位置表示，目标是在不限制注意力范围的情况下支持位置外推。作者报告，该方法在所评估的短上下文与长上下文设置中均改善了模型性能，但摘要未提供具体任务、模型、训练与测试长度、指标或数值。 方法动机来自对 RoPE 和 ALiBi 的分析：作者将表示维度视为时间轴，把 RoPE 解释为使用类 Haar 小波的受限小波变换，并认为固定尺度可能限制其外推能力；作者还将 ALiBi 描述为类似采用不同窗口大小的窗口注意力，认为其对感受野的限制会影响深层依赖捕获。这些是作者提出的机制解释，尚不能仅凭摘要视为已确证的因果结论。新方法试图同时保留多尺度表示与不受窗口限制的注意力范围；具体编码公式、与注意力的结合方式、训练目标和计算开销尚未验证。 平台推测（待验证）：其可迁移假设是，多尺度位置表示可能帮助 EEG 长序列模型表达不同时间跨度的依赖，但语言序列上的位置外推不等于 EEG 时序外推有效。可考虑复用位置表示模块，并按 EEG 的采样率、时间分块及通道组织方式改造位置定义；低信噪比、跨被试分布差异和小数据训练可能削弱收益。一个可证伪的小实验是在固定 EEG 数据划分、骨干网络和训练预算下，仅替换位置表示，与 RoPE、ALiBi 对照，在训练长度及超出训练长度的测试条件下分别评估任务表现，并核对算力开销。摘要未说明原方法所需训练数据规模，已有 EEG 相关工作尚未检索确认；实验协议、消融及统计信息尚未验证。