跳到正文
OpenReview · State space models· Cunhang Fan; Sheng Zhang; Jingjing Zhang; Zexu Pan; Zhao Lv·· 2025-01-01AI 评分62

SSM2Mel:利用状态空间模型从 EEG 重建 Mel 频谱图

SSM2Mel: State Space Model to Reconstruct Mel Spectrogram from the EEG

AI 导读

基于摘要分析。该研究面向从非侵入式 EEG 重建连续语音 Mel 频谱图的问题,提出状态空间模型 SSM2Mel,尝试弥补词或字母级音频刺激重建与分钟级连续语音特征重建之间的差距。贡献定位于脑信号到声学表征的映射,不能据此视为已实现可懂语音生成。 机制上,摘要称模型引入 Mamba 模块以建模长序列 EEG,采用 S4-UNet 结构增强 EEG 局部特征提取,并通过 Embedding Strength Modulator(ESM)纳入被试特定信息。摘要未给出各模块的连接方式、损失函数、训练流程及被试信息的具体编码方式,这些细节尚未验证。 作者报告,在 SparrKULee 数据集上,模型的 Pearson 相关系数为 0.069,较此前基线相对提升 38%;该提升不是百分点变化,也不能转换为 Accuracy。摘要未说明相关系数的聚合方式、被试内或跨被试评估、数据划分与基线身份,因此尚不能判断提升在何种泛化条件下成立。实验协议、消融及统计信息尚未验证,分钟级重建的具体评估长度也需查阅全文。 任务定义需要特别核对:摘要先以被试听到的音频刺激为背景,随后将 Mamba 的建模对象描述为想象语音 EEG;仅凭摘要无法确认实验究竟属于语音感知、想象语音,还是涉及两者。复现时应优先核对 EEG 与 Mel 频谱图的时间对齐、预处理、输入窗口、被试信息在测试阶段的可用性及划分协议,再评估长序列模块、局部特征模块和 ESM 各自的贡献。

来源:OpenReview · State space models · openreview.net