看透他们的心智:从跨被试 fMRI 中学习可迁移的神经表征
See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI
基于摘要分析。本文研究视觉内容的 fMRI 解码,针对数据稀缺、噪声及被试专属模型对训练样本量敏感的问题,提出以浅层被试专属适配器统一跨被试表征,再由共享的较深解码模型映射至目标特征空间。 方法在训练中同时利用视觉与文本监督,包含高层感知解码流程,以及由高层感知引导的像素级重建流程。作者将两者与神经科学中的自下而上、自上而下过程相联系;这一描述属于模型设计动机,不能据此认定其验证了相应生物机制。摘要未说明适配器结构、目标特征的具体来源、损失函数或两条流程的训练方式。 作者报告,在所评估的跨被试设置中,两条流程均能学习稳健的神经表征,融合高层与低层信息可改善低层及高层重建指标;通过用有限训练数据训练新适配器,还可将已学习的通用知识迁移至新被试。作者报告,相较 Mind-Vis、fMRI-PTE 等既有方法,其方法在多项任务上取得相当或更好的结果,但摘要未提供数据集、被试数、数据划分、具体指标和数值,暂不能判断提升幅度及比较条件。 复现应重点核对跨被试训练与新被试适配的数据边界、共享解码器在适配阶段是否冻结、各被试数据量,以及高低层信息融合的消融结果。实验协议、消融及统计信息尚未验证。作者表示将公开代码与预训练权重,当前材料不足以确认其发布状态。本文证据针对 fMRI 视觉解码,不直接支持 EEG 或其他 BCI 任务上的有效性。
值得核对其以浅层被试专属适配器与共享解码器分离个体差异和通用表征的机制,尤其是有限数据下新被试迁移的训练协议与对照结果。
来源:OpenReview · Representation learning · openreview.net