跳到正文
OpenReview · Representation learning· Amir Hussein; Sameer Khurana; Gordon Wichern; François G. Germain; Jonathan Le Roux·· 2025-12-31精选AI 评分71

HASRD:分层声学与语义表征解耦

HASRD: Hierarchical Acoustic and Semantic Representation Disentanglement

AI 导读

基于摘要分析。该研究面向口语语言模型中语义相关性与声学重建保真度难以兼顾的问题,提出 Hierarchical Acoustic and Semantic Representation Disentanglement(HASRD),将自监督学习表征分解为离散语义 token 与声学 token。主要研究对象是语音表征与重建,而非 EEG 或 BCI。 机制上,HASRD 将语义表征分配给第一个码本,并在后续码本中编码声学残差,以分层方式组织语义和声学信息。作者还报告对编码器进行了效率改进,在不损害重建质量的情况下改善自动语音识别(ASR)表现;具体编码器结构、训练目标、语义监督来源及码本约束尚未验证。 作者报告,相较 SpeechTokenizer,HASRD 的词错误率(WER)相对改善 44%,重建质量更好,码率降至对照的约一半。摘要未提供对应数据集、数据划分、WER 绝对值、重建指标或码率单位,因此这些结果只能视为作者在其评估条件下的报告,不能外推至其他协议。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是,将任务相关信息放入首个码本、将其余可重建变化交给残差码本,或可用于探索 EEG 任务表征与背景变化的分离。但语音中的语义—声学结构不等同于 EEG 中的任务—干扰结构,原方法依赖的语音自监督表征与语义信息来源也不能直接替换。可复用的是分层离散编码思路,需改造信号编码器、任务约束和重建目标;低信噪比、被试差异、通道变化及小数据可能使首码本编码伪迹或被试身份。一个可证伪的小实验是在固定的跨被试 MI 划分下,与非分层离散编码对照,检验首码本能否在保留任务信息的同时减少被试身份信息,并同步检查重建质量。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 HASRD 如何通过分层码本兼顾语义识别与声学重建,尤其是相对 SpeechTokenizer 的 WER、重建质量和码率权衡;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net