Fish Audio Drama 3 技术报告

基于摘要分析。Fish Audio Drama 3 面向可控语音生成，将文本及自然语言表演指令转化为语音，并在同一模型中支持多参考声音克隆、多角色场景配音、多轮修改、语音填补编辑、长篇生成和流式输入。作者将多轮修改、场景配音、填补编辑及流式文本输入列为 Drama 3 新增能力；该研究的主要对象是语音生成，而非 EEG 解码或 BCI。 模型采用总参数量为 35B、每个 token 激活 3B 参数的 mixture-of-experts 骨干，结合混合线性注意力与新的 codebook multi-token-prediction 音频解码器。摘要说明，解码器通过专用层预测每一帧的声学码本，这些层可对整个序列进行注意力计算；具体码本组织、预测依赖及因果约束尚未验证。训练包括三阶段预训练、指令微调和大批量强化学习，其中强化学习的唯一奖励来自一个学习人类偏好的模型，奖励模型的数据与校准方式尚未验证。 作者报告，在单张 H200 上进行单流解码时，Drama 3 的推理速度为每秒 271 帧，对照 Fish Audio S2 为每秒 177 帧。该结果衡量帧级吞吐，不等同于首包延迟、实时系数或感知语音质量；精度、输入长度及其他推理配置尚未验证。摘要未提供各项生成能力的量化质量结果，实验协议、消融及统计信息尚未验证。 作者说明已开放模型权重，并通过 SGLang-Omni 提供推理实现，具备进一步复现的入口。复现仍需核对权重许可、运行资源、完整推理配置，以及多轮修改、流式生成和填补编辑的评估协议。材料没有提供其用于 EEG 或 BCI 的验证结果，不能将语音生成能力直接视为神经信号解码能力。