Lite-Mind:面向高效且鲁棒的脑表征学习
Lite-Mind: Towards Efficient and Robust Brain Representation Learning
基于摘要分析。Lite-Mind 针对数据有限、信噪比低及个体差异下的 fMRI-to-image retrieval,提出基于 Discrete Fourier Transform(DFT)的轻量脑表征学习方法,将 fMRI 体素表征与 CLIP 的细粒度视觉信息对齐,旨在降低被试特定解码模型的参数开销。 机制与对照:摘要以 MindEye 为参照,指出其为每名被试使用约 996M 参数的 MLP backbone,将 fMRI 嵌入对齐至 CLIP Vision Transformer(ViT)的最终隐藏层。Lite-Mind 则采用包含 Spectrum Compression 与 Frequency Projector 模块的 DFT backbone,学习信息丰富且鲁棒的体素嵌入。DFT 作用的具体维度、体素排列方式、频谱压缩策略、对齐目标及训练损失均需查阅全文确认,不能将其直接理解为对脑信号时间频率的分析。 结果:作者报告,在 NSD 数据集的 Subject 1 上,Lite-Mind 的 fMRI-to-image retrieval Accuracy 为 94.6%,参数量较 MindEye 减少 98.7%。摘要未提供候选图像集合、数据划分及基线复现设置,因此该数字不宜外推至其他检索协议或被试。作者还报告方法可迁移至更小的 fMRI 数据集,并声称在 GOD 数据集的 zero-shot classification 上达到新的最佳结果,但摘要未给出相应指标与具体比较条件。 验证重点:需核对参数统计范围、实际计算与存储开销、模块消融、噪声鲁棒性测试,以及小数据迁移是否需要重新训练被试特定模型。实验协议、消融及统计信息尚未验证。本文主要研究对象是 fMRI 视觉解码;摘要尚不足以确认其对 EEG 或其他 BCI 任务的有效性,不将其改写为已验证的跨模态算法贡献。
值得核对其以 DFT 压缩 fMRI 表征的机制及参数效率:作者报告在 NSD 单个被试上取得较高图像检索 Accuracy,但评估协议、跨被试适用性与实际部署收益尚未验证。
来源:OpenReview · Representation learning · openreview.net