Lite-Mind:面向高效且鲁棒的脑表征学习
Lite-Mind: Towards Efficient and Robust Brain Representation Learning
基于摘要分析。Lite-Mind 针对数据有限、信噪比低条件下的 fMRI-to-image retrieval,提出基于 Discrete Fourier Transform(DFT)的轻量脑表征学习方法,将 fMRI 体素表征与 CLIP 的细粒度信息对齐,目标是降低逐被试训练大型解码模型的成本。 机制与对照:摘要以 MindEye 为主要参照,指出其为每名被试使用含 996M 参数的 MLP Backbone,将 fMRI 嵌入对齐至 CLIP Vision Transformer(ViT)的最终隐藏层。Lite-Mind 则采用包含 Spectrum Compression 和 Frequency Projector 模块的 DFT backbone,学习体素嵌入。摘要未说明 DFT 的变换轴、体素组织方式、具体对齐目标、损失函数及训练流程,因此不能将其直接理解为对脑信号时间频率的建模。 作者报告,在 NSD 数据集的 Subject 1 上,Lite-Mind 的 fMRI-to-image retrieval Accuracy 为 94.6%,参数量较 MindEye 减少 98.7%。该数字仅对应摘要明确的单名被试结果;检索候选集规模、训练与测试划分、参数统计范围及对照条件尚未验证,不能据此认定跨被试性能。作者还报告方法可迁移至更小的 fMRI 数据集,并声称在 GOD 数据集的 zero-shot classification 上取得新的最佳结果,但摘要未提供具体分数和比较协议。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若其收益来自频域压缩对冗余表征的抑制,可探索用于 EEG 小数据解码,但 fMRI 体素与 EEG 通道—时间结构不同,不能直接复用变换轴和投影设计。可复用候选是频域压缩与投影模块,需改造输入组织及任务对齐目标;低信噪比、通道变化和跨被试差异可能导致压缩丢失判别信息。一个小规模可证伪实验是在固定 EEG 任务及数据划分下,以相同参数预算比较 DFT 模块与 MLP 基线,分别评估被试内和跨被试结果。该假设不是本文已验证结论,相关 EEG 工作尚未检索确认。
值得关注其以 DFT 表征降低 fMRI 解码模型规模的机制,以及相对 MindEye 的参数效率;检索候选集、模型对齐方式和跨被试适用性仍需全文核对。
来源:OpenReview · Representation learning · openreview.net