面向长上下文的基于小波的位置表示

基于摘要分析。本文研究大规模语言模型在序列长度超出训练范围时的位置表示外推问题，提出利用小波变换构建多尺度位置表示，旨在不限制注意力范围的前提下改善短上下文与长上下文建模。 机制方面，作者将表示维度视为时间轴，把 Rotary Position Embedding（RoPE）解释为使用类 Haar 小波的受限小波变换，并认为其固定尺度限制了多尺度表征能力，可能影响外推。作者还将 Attention with Linear Biases（ALiBi）解释为具有不同窗口大小的窗口化注意力，认为其感受野限制可能妨碍深层依赖捕获。新方法据此引入多个尺度，同时避免显式限制注意力范围；具体位置表示公式、尺度配置及与注意力计算的结合方式尚未验证。这里的小波分析针对位置表示，不等同于直接对原始信号进行时频分解。 作者报告，该方法在所评估的短、长上下文条件下均改善模型性能，并支持位置外推，但摘要未提供数据集、训练与测试长度、指标、对照配置或增益数值，无法据此判断改进幅度与适用边界。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其多尺度位置机制可能对应 EEG 长序列中局部变化与远距离依赖并存的建模需求，但原研究对象是语言模型，并未提供 BCI 有效性证据。可复用的是位置表示思路；需根据 EEG 的时间采样、分段方式及通道布局调整位置定义。摘要未说明其对监督方式与训练规模的依赖，低信噪比、跨被试差异和小数据可能使语言任务中的收益无法迁移。一个可检验的假设是：固定 EEG 编码器、数据划分及训练预算，仅替换位置表示，在相同测试片段上分别评估训练长度内与超出训练长度的表现，并与 RoPE、ALiBi 对照。已有 EEG 相关工作尚未检索确认。