跳到正文
arXiv · EEG 与神经表征· Dung Truong; Kuntal Kokate; Arnaud Delorme·· 3 天前精选AI 评分77

跨模态对齐中的被试规模扩展:利用 EEG 基础模型进行视频解码

Scaling subjects in cross-modal alignment: video decoding with EEG foundation model

AI 导读

基于摘要分析。研究考察自然视觉 EEG 解码是否受益于扩大训练被试规模,并通过 EEG–视频跨模态对比编码器比较基础模型初始化与随机初始化的扩展表现。核心贡献是提出被试规模收益可能存在起点:小规模队列中的有限增益,不一定能代表更大队列的扩展规律。 方法与对照:研究利用共享自然视觉刺激进行 EEG–视频对齐,训练队列规模比既有相关研究大一个数量级以上。摘要列出的评估包括需要拟合的刺激特征探针,以及无需拟合的电影时刻检索;初始化对照包括 EEG 基础模型与两个深度的随机初始化编码器。具体基础模型名称、对比损失、视频表征方式、网络结构与各规模阶梯尚未验证。 作者报告,在其被试规模阶梯中,S≈50 以下,各模型相对未训练编码器均无明显改善;超过这一范围后,两类评估的解码表现随被试数呈对数线性增长,在所测试的最高规模处未见饱和,且收益迁移到第二部未见电影。作者还报告,基础模型初始化编码器在队列每翻倍时的扩展速率约为随机初始化对照的 1.6 倍,是最高规模处唯一仍能通过增加被试提高检索 Accuracy 的模型,并以较少的对齐计算量收敛。摘要未给出绝对 Accuracy、最高被试数、计算量或统计不确定性,不能将该速率比解释为准确率提高 1.6 倍。 证据边界与复现重点:需核对训练和评估的被试划分、时间片段划分、电影间迁移设置,以及共享刺激条件下候选检索集合与未训练基线的定义。摘要不足以确定结果属于何种 Cross-subject 或 Cross-session 协议,也不能将未见电影迁移直接等同于 Cross-dataset 泛化。实验协议、消融及统计信息尚未验证。作者将共享自然刺激上的被试扩展视为尚未饱和的方向,但这一结论仅适用于已测试规模与任务,尚不能外推到任意 EEG 数据或其他 BCI 范式。

阅读价值

值得核对其被试规模阶梯与评估划分,以检验共享自然视觉刺激下被试扩增的收益起点,以及 EEG 基础模型初始化相对随机初始化的扩展效率优势。

来源:arXiv · EEG 与神经表征 · arxiv.org