跳到正文
OpenReview · State space models·· 2026-05-26精选AI 评分74

BiMTokenizer:通过双向状态空间建模在低码率语音分词中保持语义与声学平衡

BiMTokenizer: Preserving Semantic-Acoustic Balance in Low-Bitrate Speech Tokenization via Bidirectional State-Space Modeling

AI 导读

基于摘要分析。该研究针对低码率语音编解码中声学保真与语义保留之间的冲突,提出单塔语音编解码器 BiMTokenizer,以双向状态空间骨干结合 Residual Spherical Leech Quantization(RSLQ),尝试避免双塔语义与声学编码器带来的架构开销。主要研究对象是连接连续语音信号与大语言模型的语音 token 表示,并非 EEG 或 BCI。 机制上,双向状态空间骨干用于增强时序建模;RSLQ 提供固定且分离良好的格点量化瓶颈,旨在同时保留语义与声学信息,并避免可学习码本坍塌。摘要未说明状态空间模块的具体结构、量化配置、训练损失、监督来源或推理流程;双向建模所需上下文及其对流式处理延迟的影响也需核对正文。 作者报告,在约 1.1 kbps 的低码率设定下,BiMTokenizer 在干净和含噪语音环境中,相较低码率 codec 基线获得更好的声学重建表现及最低 WER;相较近期双塔基线,其参数量不到一半。作者还报告其语义表示在下游语音理解任务中表现较强。摘要未提供数据集、划分、基线名称、声学指标、WER 数值或任务成绩,因此这些结论目前只能按摘要所述范围理解,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,固定格点量化瓶颈可能有助于低码率 EEG 表示减少可学习码本失衡,同时保留重建信息与任务判别信息。可复用候选为时序骨干与量化模块,但需要适配 EEG 多通道结构、幅值尺度及任务监督;原研究依赖的语音训练数据与规模尚未明确。EEG 的低信噪比、跨被试分布差异、通道变化及小数据条件可能导致量化失真或判别信息丢失,双向骨干也不能直接视为在线因果解码器。一个小规模可证伪实验是在固定被试内划分、相同骨干和码率下,对比 RSLQ 与可学习码本量化,同时测量重建误差、码字使用情况及运动想象任务 Accuracy,检验压缩是否牺牲任务信息。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 BiMTokenizer 的单塔双向状态空间建模与固定格点量化能否在降低架构开销的同时保持语义和声学信息;摘要报告了低码率对照优势,但具体评估协议与 EEG 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net