Hypformer：探索完全在双曲空间中的高效 Transformer

基于摘要分析。该研究面向具有树状或层级结构的复杂数据，提出基于双曲几何 Lorentz 模型的 Hypformer，目标是将 Transformer 的基础模块与自注意力完整构建在双曲空间中，而非仅改造注意力部分。 核心机制：摘要将已有方法的限制归纳为两点：双曲空间中的线性变换、LayerNorm、激活函数和 dropout 等模块尚缺乏完整定义，以及已有双曲自注意力随输入 token 数增长的二次时间复杂度。Hypformer 引入两个基础构件来定义 Transformer 所需模块，并设计双曲空间中的线性自注意力。两个构件的具体形式、注意力计算与近似方式、训练目标及数值稳定性处理尚未验证。 结果与证据边界：作者报告在多个数据集上验证了有效性与效率，并声称该机制首次使双曲 Transformer 能够处理十亿规模图数据和长序列输入。摘要未列出数据集名称、具体评估指标、数据划分、对照基线或资源消耗，因此尚不能量化性能收益，也不能判断规模主张对应的实际训练和推理条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，如果 EEG 的通道关系或多尺度时间表征具有可利用的层级结构，双曲表示可能提供适合的几何归纳偏置，而线性注意力可能缓解长序列计算瓶颈。可考虑复用双曲基础模块与注意力机制，但仍需适配 EEG token 化、通道布局及任务监督；原研究处理结构化数据，并不构成 EEG/BCI 有效性的证据。低信噪比、跨被试差异、通道变化和小样本条件可能削弱层级假设，或增加几何参数与优化的不稳定性。 一个可检验的小实验是在同一 EEG 任务和固定跨被试划分下，以一致的输入表示、训练预算和匹配容量，对照欧氏空间线性注意力模型与 Hypformer，分别检验任务指标、运行时间和显存占用，并核对收益是否来自双曲表示而非注意力复杂度差异。该方案仅为迁移假设；已有相关 EEG 工作尚未检索确认，具体实现与复现资源也尚未验证。