ReShare:用于共享神经视觉解码的区域结构化学习
RESHARE: REGION-STRUCTURED LEARNING FOR SHARED NEURAL VISUAL DECODING
基于摘要分析。该研究针对 EEG 和 MEG 视觉解码中被试间神经响应分布差异及新被试配对训练数据有限的问题,提出区域结构化共享解码框架 ReShare,通过区域级被试校准与跨被试共享网络,复用已有记录并降低新被试适配的数据需求。 机制上,ReShare 根据 EEG 和 MEG 传感器布局划分区域,进行空间与时间编码;随后使用各区域内可学习的被试特定缩放与偏移,校准编码后的神经响应。跨被试共享网络整合校准结果,并将输出与冻结的 CLIP ViT-L/14 编码器的中间视觉特征对齐。其方法重点是将被试特定校准与共享表征学习结合,而非为每名被试独立训练完整解码器。具体区域划分、编码结构、对齐损失及新被试校准参数的初始化方式尚未验证。 作者报告,在预训练解码器上使用一名新 EEG 被试训练配对数据的 10% 进行微调,Top-1 Accuracy 达到 78.0%;对照为使用同一被试完整训练集训练的既有被试特定模型,其 Top-1 Accuracy 为 75.0%。摘要未明确该项实验的候选图像数量、新被试数量及数据抽样方式,不能将其直接与后述检索结果比较。 对于参与训练的被试,作者报告采用每个数据集一个共享模型,对未见图像开展 200-way brain-to-image retrieval,在 THINGS-EEG2 和 THINGS-MEG 上的 Top-1 Accuracy 分别为 95.70% 和 61.88%,并称达到当前最佳水平。这一协议评估的是训练中已包含被试对未见图像的检索,不等同于对未参与训练的新被试直接泛化。 复现时需核对图像与被试划分、预训练数据范围、10% 配对数据的选取方式、微调参数范围,以及区域结构和被试校准各自的贡献;还需核对基线训练条件、重复实验及统计不确定性。实验协议、消融及统计信息尚未验证,不能仅凭摘要判断少样本优势在不同被试、通道布局或跨会话条件下是否稳定。
值得核对其区域级被试校准机制与新被试少样本微调协议:作者报告仅使用新 EEG 被试 10% 的训练配对数据即可超过使用该被试完整训练集的既有被试特定模型,但具体划分、对照与统计信息尚未验证。
来源:OpenReview · EEG · openreview.net