AxisBrain:用于 EEG 基础模型逐 token 残差调制的跨轴一致性
AxisBrain: Cross-Axis Consistency for Token-Wise Residual Modulation in EEG Foundation Models
基于摘要分析。AxisBrain 研究 EEG 基础模型如何在任务、被试与记录配置之间学习可迁移表征,提出以跨轴一致性引导逐 token 残差细化,旨在限制模型扩展、复杂预训练流程及解剖先验带来的额外成本与依赖。 核心机制是在每一层沿通道轴进行学习查询池化,并在各通道内沿时间轴进行均值池化,形成互补的上下文描述符。描述符经投影后计算余弦相似度,再通过 sigmoid 得到有界一致性分数,用于调制每个通道—时间 token 上重组后的空间与时间注意力响应。摘要未给出投影结构、分数的具体分配方式或残差更新公式,这些实现细节尚未验证。 训练采用原始 EEG patch 的掩码重建,编码器参数量为 7.46M,端到端训练,不依赖单独预训练的组件或显式解剖元数据。其方法重点不是单纯扩大模型,而是利用空间与时间上下文之间的一致性控制局部残差细化。 作者报告,在覆盖七类任务的十个数据集上,AxisBrain 的平均 Balanced Accuracy 为 75.67%;摘要列出的文献报告均值为 CBraMod 的 73.25% 和 PATCHCODE-Large 的 75.42%。数据集名称、被试数量、被试内或跨被试等划分、均值汇总方式及基线协议是否一致尚未验证,因此不能仅凭这些均值认定统一条件下的性能优势。作者另报告,受控消融支持学习得到的调制分数及其逐 token 分配均对性能有贡献,但具体对照、效应大小与统计信息尚未验证。 复现时需核对掩码与 patch 构造、预训练数据及下游划分、调制模块实现和受控消融设置。摘要不足以确认跨记录配置迁移的具体评估方式,也不能据参数量判断实际训练或推理成本;代码、完整实验协议及计算开销尚未验证。
值得核对其跨轴一致性调制机制及受控消融,以判断逐 token 残差细化的贡献;摘要中的跨模型均值来自文献报告,尚不能确认是在统一协议下比较。
来源:OpenReview · EEG · openreview.net