DIVER-1:大规模电生理记录的深度整合
DIVER-1 : Deep Integration of Vast Electrophysiological Recordings at Scale
基于摘要分析。本文针对 EEG 和 iEEG 基础模型训练规模有限及计算资源如何分配的问题,提出 DIVER-1 模型系列,并研究模型规模、数据量与训练时长之间的关系。其主要贡献包括大规模电生理预训练、该领域的系统性规模规律分析,以及面向电生理信号的架构设计。 训练规模方面,摘要列出 5.3k 小时 iEEG、54k 小时 EEG,以及 1.6M 通道小时和超过 17.7k 名被试,模型规模最高达 1.82B 参数。小时与通道小时是不同统计口径,不应直接互换;各模型使用的数据组合、数据清洗及训练划分尚未验证。作者将该语料称为截至当时规模最大、最多样的语料,但这一比较尚未独立核实。 核心发现是数据受限的规模规律:作者报告,在给定数据量与计算预算下,较小模型训练更多轮次,持续优于较大模型短时间训练。该结论关注模型容量与训练时长的联合配置,而非单纯扩大参数量;摘要未提供具体计算预算、训练轮次、比较配置或规律拟合结果,适用范围仍需核对全文。作者称这是该领域首次系统性规模规律分析,此优先性主张尚未独立核实。 架构创新包括 any-variate attention、sliding temporal conditional positional encoding 和 multi-domain reconstruction。摘要未展开这些模块的计算机制、重建目标、损失形式及训练和推理流程,因此不能据名称推断其是否解决通道变化、跨被试或跨数据集泛化问题。 作者报告,DIVER-1 的 iEEG 与 EEG 模型分别在各自基准上达到最先进表现;但摘要未给出基准名称、下游任务、指标、数值、对照基线,以及被试内、跨被试或跨会话等划分协议,尚不能判断其对具体 BCI 任务的收益。实验协议、消融及统计信息尚未验证;代码、权重可用性与复现所需算力也尚未验证,不能据此视为已发布模型权重。阅读全文时应重点核对规模规律比较是否采用可比的计算预算,以及预训练与下游评估的数据划分。
值得阅读的具体原因是作者报告了 EEG/iEEG 基础模型在数据受限条件下的规模规律,可为模型容量与训练时长的资源分配提供可核对的依据,但具体评估协议和复现条件尚未验证。
来源:OpenReview · EEG · openreview.net