跳到正文
OpenReview · State space models· Sarthak Yadav; Zheng-Hua Tan·· 2024-01-01精选AI 评分71

Audio Mamba:用于自监督音频表征学习的选择性状态空间模型

Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations

AI 导读

基于摘要分析。本文研究选择性状态空间模型能否用于学习通用自监督音频表征,提出 Audio Mamba,从随机掩码的频谱图块中学习表示,探索 Transformer 之外的音频表征架构。 方法与结果:Audio Mamba 以选择性状态空间模型为核心,将频谱图块与掩码建模结合用于自监督学习;摘要未说明具体预测目标、损失函数、状态更新形式及训练配置。作者报告,在 AudioSet 上预训练后,模型在十项不同的下游音频识别任务中持续优于可比的自监督音频频谱图 Transformer(SSAST)基线,并在数据集规模、序列长度和模型规模的比较中表现更好。摘要未提供任务名称、指标、分数、划分及基线匹配细节,因此不能量化提升,也不能据此断言计算效率更高。实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,选择性状态空间序列建模与频谱图掩码自监督学习可能为 EEG 时频表征提供可检验的架构替代,但音频识别结果不构成 BCI 有效性的证据。可复用部分是序列建模骨干与掩码学习思路;需要改造 EEG 时频分块、通道组织和任务输出,并核对预训练目标是否适合神经信号。EEG 的低信噪比、跨被试差异、通道配置变化及小数据规模可能削弱收益。一个小规模验证是:在固定 EEG 数据划分、时频输入、预训练数据量和模型规模下,对比选择性状态空间骨干与 Transformer 骨干的掩码自监督学习,采用跨被试评估检验迁移假设。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其选择性状态空间模型与 SSAST 在自监督音频表征学习中的对照,以及数据规模、序列长度和模型规模比较,但具体优势幅度与实验公平性尚需全文核对。

来源:OpenReview · State space models · openreview.net