MindMix：通过深度神经信号—声学对齐进行听觉感知解码的多模态基础模型

基于摘要分析。MindMix 研究如何将声学刺激信息深度融入 EEG 基础模型，以改善复杂听觉体验的解码，并连接通用 EEG 表征与任务特定的听觉解码器。其核心贡献是两阶段训练策略，以及用于神经信号—声学映射的 Cross-Attention Low-Rank Alignment 模块。 训练首先使用超过 3,000 小时的 EEG 数据预训练高容量 EEG 编码器，目标是学习可跨任务、跨被试迁移的通用特征；随后使用超过 100 小时的配对数据学习神经信号与声学信息之间的映射。作者将该对齐模块描述为实现细粒度跨模态信息整合的关键，但摘要未给出模块内部结构、低秩约束的具体实现、损失函数或两阶段之间的参数更新方式。 作者报告，MindMix 在 auditory attention decoding、auditory emotion recognition 和 cross-modal retrieval 等任务上优于现有基线。摘要未提供具体指标、增益数值、数据集、被试数量及数据划分，因此尚不能据此判断提升在被试内、跨被试或跨数据集协议下的适用范围，也不能将训练目标中的跨被试迁移直接视为已验证结论。 复现与评价应重点核对 EEG 预训练数据和配对数据的来源、预训练与下游评估的数据关系、各任务推理时是否需要声学输入，以及 EEG 预训练和跨模态对齐各自带来的增益。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库链接，但代码内容、预训练权重及运行条件尚未核验。