以内置文本预测蒸馏语音到语音模型

基于摘要分析。本文研究如何将预训练文本 LM 的语言与事实知识迁移至同时以语音为输入和输出的 speech-to-speech LM，提出以内部文本预测作为知识蒸馏接口的预训练方法，同时保留纯语音输入与输出。 核心机制是：模型先读取不附带转写文本的语音上下文，再切换到文本预测，随后由预测文本逐词引导后续语音生成。内部文本预测可直接接受基础文本 LM 的蒸馏监督，从而为语音模型提供文本层面的知识迁移接口。作者将这一设计与主要面向语音输入、文本输出的既有蒸馏路线区分，并声称据其所知，这是文本 LM 蒸馏首次用于 speech-to-speech LM；该优先性尚未独立核实。摘要未给出具体蒸馏损失、语音表示、模型规模及训练数据。 作者报告，在匹配训练条件下，所提出的序列构造相较纯语音模型及交错语音—文本模型，显著改善语音续写的生成困惑度，并接近使用外部 ASR 提示转写的文本先行 inner-monologue 模型。作者另报告，蒸馏改善了文本与语音两种评估下的事实表现，认为这表明模型更好地保留了基础文本 LM 的知识。摘要未提供具体数值；数据集、评估划分、事实能力指标、实验协议、消融及统计信息尚未验证，不能据此判断收益幅度或稳健性。 平台推测（待验证）：若研究对象是 EEG 驱动的语言或语音解码，内部文本接口可能提供一种将神经信号解码与文本 LM 知识监督连接的路径，而不是直接从 EEG 学习全部语言知识。该假设依赖可靠的 EEG—语言配对监督及足够准确的文本预测；可考虑复用文本蒸馏与文本引导生成模块，但语音输入编码器及其对齐方式需要重新设计。EEG 的低信噪比、跨被试差异、通道配置变化和小样本条件可能使内部文本错误被语言先验放大。一个可证伪的小实验是在固定 EEG 编码器、配对数据和划分下，对照有无内部文本蒸馏的解码结果，分别检查文本识别质量与脱离信号证据的生成错误。该实验仅是迁移假设，已有 EEG 相关工作尚未检索确认。