跳到正文
OpenReview · Representation learning· Antoni Dimitriadis; Siqi Pan; Vidhyasaharan Sethu; Beena Ahmed·· 2023-01-01精选AI 评分75

Spatial HuBERT:从多通道音频中学习单说话人的自监督空间语音表征

Spatial HuBERT: Self-supervised Spatial Speech Representation Learning for a Single Talker from Multi-channel Audio

AI 导读

基于摘要分析。本文研究在可能存在噪声的环境中,如何从多通道音频学习单说话人的声学与空间信息,提出自监督语音表征模型 Spatial HuBERT。其主要研究对象是空间语音表征与语音定位,而非 EEG 或 BCI。 方法的核心思路是利用多通道录音中的空间信息,扩展单通道语音表征的能力。摘要未披露通道间信息的具体编码方式、自监督目标、训练流程或模型结构,不能仅凭 HuBERT 名称推定其实现细节。 作者报告,在所评估的多种空间下游任务中,Spatial HuBERT 的表征优于其比较的先进单通道语音表征,尤其是在混响与噪声环境下;作者还展示了其在语音定位任务中的用途。摘要未给出具体基线名称、指标、数值及数据划分,效果幅度和适用条件尚未验证。作者同时表示公开了包含 100 000 个模拟一阶 Ambisonics 房间脉冲响应的新数据集;该数量指脉冲响应,并非录音或被试数量。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可探索的机制对应是利用多通道观测中的空间关系进行自监督表征学习,以应对 EEG 空间信息利用不足的问题。但声源传播与混响结构不同于 EEG 的体积传导和参考依赖,原领域结果不能直接外推。若核对全文后确认存在可复用的空间编码与预训练目标,可保留其多通道学习框架,并针对电极位置、参考方式及缺失通道改造输入表示;低信噪比、跨被试差异和小数据可能使表征转而依赖伪迹或采集布局。一个可证伪的小实验是在固定下游模型和划分下,比较保留与打乱电极空间对应关系的预训练表征,检验空间结构是否确有贡献。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其利用多通道输入联合学习声学与空间表征的自监督思路,以及随文公开的模拟房间脉冲响应数据;其对 EEG 空间表征的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net