基于时频双路径有限标量量化的视觉到 M/EEG 脑编码

基于摘要分析。研究面向从视觉刺激预测 M/EEG 神经响应的视觉脑编码任务，提出结合时频特征、有限标量量化（FSQ）及图像—神经表征对齐的三阶段框架。作者报告该方法在 THINGS-EEG2 和 THINGS-MEG 上有效，但摘要未提供具体指标、分数或对照结果。 第一阶段构建 BrainVAE：将 M/EEG 信号表示为通道×时间的二维输入，用 Conv2d 提取局部时空特征，同时通过 FFT 获得功率谱；随后由 Transformer 的自注意力融合 Conv2d 特征 tokens 与 Frequency Prefix Tokens，显式引入频域先验。潜在空间采用 FSQ 离散化，作者称该机制无需码本及辅助损失，并避免码本坍塌。 第二阶段通过 InfoNCE 对比学习，将量化后的神经潜在空间与 I-JEPA 图像嵌入对齐。第三阶段使用基于 Transformer 的 BrainTokenRegressor，通过交叉注意力从 I-JEPA 图像嵌入预测 FSQ token 序列；训练损失在 token 空间和信号空间中直接对照真实神经响应计算。摘要未给出这些损失的具体形式、权重及各阶段训练细节。 相较于摘要所述将 M/EEG 当作图像处理的扩散模型路线，该方法的主要区别是显式融合频域结构，并在响应预测阶段引入真实神经响应监督。需结合全文核对频域路径、FSQ、对比对齐及双空间监督各自的增益，以及对照方法是否采用一致的数据与评估协议。 目前被试数、预处理、数据划分、被试内或跨被试设置、评价指标、消融及统计信息尚未验证，不能据此判断泛化能力或复现成本。摘要将视觉假体列为应用动机，但未提供电极刺激或临床验证证据，编码效果不等同于视觉假体的实际有效性。