通过 Summary Tokens 学习人类颅内记录的紧凑时空表征
Compact Spatiotemporal Representations via Summary Tokens for Human Intracranial Recordings
该研究针对人类 iEEG 中电极位置不规则、不同下游任务所需空间尺度不同带来的迁移困难,提出分解式时空掩码自编码器,在保留通道级 tokens 的同时,通过预训练学习紧凑的时间与空间汇总表征。基于摘要分析,未取得论文全文。 核心机制包含两类互补的 summary tokens:temporal summary tokens 汇聚单个通道内的信息,spatial summary tokens 汇聚跨通道信息。预训练通过信息瓶颈约束重建必须经过这些汇总 tokens,从而显式促使其编码时间结构与群体层面的信号结构。摘要未提供具体掩码策略、损失形式及信息瓶颈的实现细节。 作者将研究动机与既有 iEEG 基础模型作对照:后者通常在预训练中保留通道级结构,却将跨通道汇聚留给标注有限的下游适配阶段;本研究则将汇总表征的学习前移至预训练。作者报告,在多种 iEEG 下游任务上,显式训练汇总表征改善了不同空间需求任务的迁移,并且这些表征包含任务相关信息,能够选择性汇聚对解码有贡献的通道信号。 摘要未列出数据集、被试数、任务名称、数据划分、对照模型或定量指标,因此不能确认结果对应何种跨被试或跨任务评估协议,也无法比较增益大小。复现时需核对预训练与下游数据的划分、不规则电极布局的表示方式、两类汇总 tokens 的独立贡献,以及选择性通道汇聚的验证依据;实验协议、消融及统计信息尚未验证。该工作直接研究 iEEG 表征学习,但摘要不足以支持其在头皮 EEG 或实际 BCI 系统中的有效性。
值得核对的是在预训练阶段显式学习跨通道汇聚能否减少下游标注受限时的适配负担;作者报告 summary tokens 改善了不同空间需求任务的迁移,但具体协议与增益尚未验证。
来源:OpenReview · EEG · openreview.net