RAG-Audio：用于忠实脑到音频重建的检索增强生成

基于摘要分析。该研究针对 fMRI 到音频重建中的“先验主导”问题：当神经条件较弱时，预训练生成器可能输出逼真但不匹配原刺激的音频。RAG-Audio 将 fMRI 解码为语义音频嵌入，检索匹配的真实音频样例，再用该样例初始化冻结生成器的采样轨迹，同时保留解码嵌入作为生成条件。 作者报告，在 Brain2Music 的 10-way 刺激识别评估中，RAG-Audio 将直接生成的识别表现从 0.14–0.18 提高到 0.40–0.43，随机水平为 0.10，表现接近检索。对于 AudioLDM，作者报告 Fréchet Audio Distance（FAD）从 13.49 降至 1.25。相较于直接回放真实音频的最近邻检索，RAG-Audio 仍保持生成式输出，但 FAD 更高；刺激识别与音频分布质量是不同评价维度，不宜相互替代。 机制上，方法不只把检索结果作为额外条件，而是用其设定采样轨迹的起点。作者报告，不具备可初始化潜在轨迹的自回归负对照未获得类似收益，并据此将改进归因于轨迹初始化。该归因的具体对照设置、检索库构成、数据划分、被试情况、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 到音频任务也因语义条件较弱而被生成先验主导，可尝试复用检索与轨迹初始化模块，但需改造神经信号编码器，并验证其与音频嵌入空间的对齐。低信噪比、跨被试或通道变化及小数据条件可能使检索偏离刺激。一个小规模可证伪实验是在固定数据划分、检索库与冻结生成器的条件下，对比直接生成、仅检索及检索初始化生成，分别评估刺激识别和 FAD；原文的 fMRI 结果不构成 EEG 有效性证据，相关 EEG 工作尚未检索确认。