Drama 3:可控语音生成架构与吞吐
先了解这件事
基于摘要分析。Fish Audio Drama 3面向文本与表演指令驱动的可控语音生成,采用35B参数、每token激活3B的MoE骨干,结合混合线性注意力与码本多token预测解码器;专用层对整个序列进行注意力计算,预测逐帧声学码本。训练含三阶段预训练、指令微调及以单一人类偏好模型为奖励的大批量强化学习。 作者报告:单张H200、单流解码达271帧/秒,Fish Audio S2为177帧/秒;并将多轮修改、场景配音、填补编辑和流式文本输入列为新增能力,称已开放权重及推理实现。 平台分析:帧吞吐不等同于延迟或语音质量;数据集、评估划分、质量指标、消融、推理精度配置及码本因果约束尚未验证,开放实现也不代表已复现。该成果无EEG或BCI验证,不能视为神经信号解码进展。
AI 根据报道生成 · 51 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv · 架构与算子精选Fish Audio Drama 3 技术报告
基于摘要分析。Fish Audio Drama 3 面向可控语音生成,将文本及自然语言表演指令转化为语音,并在同一模型中支持多参考声音克隆、多角色场景配音、多轮修改、语音填补编辑、长篇生成和流式输入。作者将多轮修改、场景配音、填补编辑及流式文本输入列为 Drama 3 新增能力;该研究的主要对象是语音生成,而非 EEG 解码或 BCI。 模型采用总参数量为 35B、每个 token 激活 3B 参数的 mixture-of-experts 骨干,结合混合线性注意力与新的 codebook multi-token-prediction 音频解码器。摘要说明,解码器通过专用层预测每一帧的声学码本,这些层可对整个序列进行注意力计算;具体码本组织、预测依赖及因果约束尚未验证。训练包括三阶段预训练、指令微调和大批量强化学习,其中强化学习的唯一奖励来自一个学习人类偏好的模型,奖励模型的数据与校准方式尚未验证。 作者报告,在单张 H200 上进行单流解码时,Drama 3 的推理速度为每秒 271 帧,对照 Fish Audio S2 为每秒 177 帧。该结果衡量帧级吞吐,不等同于首包延迟、实时系数或感知语音质量;精度、输入长度及其他推理配置尚未验证。摘要未提供各项生成能力的量化质量结果,实验协议、消融及统计信息尚未验证。 作者说明已开放模型权重,并通过 SGLang-Omni 提供推理实现,具备进一步复现的入口。复现仍需核对权重许可、运行资源、完整推理配置,以及多轮修改、流式生成和填补编辑的评估协议。材料没有提供其用于 EEG 或 BCI 的验证结果,不能将语音生成能力直接视为神经信号解码能力。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。