Revise-TTS:用于文本转语音掩码扩散模型的非掩码细化框架
Revise-TTS: A Non-Masking Refinement Framework for Masked Diffusion Models in Text-to-Speech
基于摘要分析。Revise-TTS 研究零样本文本转语音(TTS)中掩码扩散模型(MDM)的中间预测难以修订、错误可能累积传播的问题,提出结合 hierarchical binary quantization(HBQ,分层二进制量化)与 generative refinement networks(GRN,生成式细化网络)的单阶段框架。研究对象是语音生成,而非 EEG 解码或 BCI。 机制上,原有 MDM 通过将干净语音 token 序列映射为掩码表示来构造扰动过程,并学习逆向去噪以恢复参考 token。Revise-TTS 用 HBQ 替代 finite scalar quantization(FSQ,有限标量量化),为语音 token 提供可扩展且具有显式由粗到细结构的二进制表示。GRN 的训练任务是从真实 token 与随机 token 的混合序列重建目标序列;推理时,通过随机舍弃一小部分既有预测并以新预测替换,允许迭代过程修订先前结果。其关键区别不只是增加生成步骤,而是让已预测的位置仍有机会被纠正。 作者报告,实验和消融显示使用 HBQ 的 Revise-TTS 具有有竞争力的零样本语音合成表现,并提出该训练与推理方式可扩展至其他基于 MDM 的 TTS 任务。摘要未给出数据集、零样本评估协议、具体指标、基线配置或计算开销,因此无法据此判断收益幅度,也不能确认 HBQ 与 GRN 各自的贡献;实验协议、消融及统计信息尚未验证。 复现时需核对语音 tokenizer 的训练条件、真实与随机 token 的混合策略、推理替换比例及迭代调度,以及质量与推理成本之间的权衡。材料未建立该机制与 EEG 数据结构或 BCI 任务的具体对应关系,不据此推断 BCI 有效性。
值得核对的是 Revise-TTS 如何通过分层二进制语音表示与可修订的迭代生成缓解预测错误累积,但其相对原有 MDM 的收益及计算代价尚需全文验证。
来源:arXiv · 多模态与生成机制 · arxiv.org