跳到正文
arXiv · 在线与高效推理· Zezhong Jin; Xiaoyu Wang; Zhe Li; Chong-Xin Gan; Siqing Qin; Man-Wai Mak; Kong Aik Lee·· 23 小时前精选AI 评分72

用于说话人验证的流形约束残差适配与帧自适应层聚合

Manifold-Constrained Residual Adaptation with Frame-Adaptive Layer Aggregation for Speaker Verification

AI 导读

基于摘要分析。该研究面向大型自监督语音模型在说话人验证中全量微调成本较高的问题,提出 Manifold-Constrained Residual Adapter(MCRA)与 Frame-Adaptive Layer Aggregation(FALA),分别适配残差路径和跨层特征选择;原研究对象是语音说话人验证,而非 EEG 或 BCI。 MCRA 将 Transformer 残差状态的隐藏维度划分为 N 组,通过小型 Sinkhorn 归一化矩阵在组间交换信息,并用可学习门控平衡原始与混合残差路径。每个残差连接的门控仅增加一个标量参数,初始化时偏向原始路径,以支持渐进适配。摘要未展开流形约束的具体数学定义。FALA 使用所有语句共享的单个可学习查询,通过注意力为每个语音帧计算跨层权重;由于层表示随输入变化,权重可同时随语句和帧变化,区别于常规固定权重的跨层加权和。 作者报告,相对于采用固定跨层加权和的冻结 WavLM 基线,该方法在 VoxCeleb1-O 和 CN-Celeb 上分别实现 22.4% 和 2.9% 的相对 EER 降低,对应可训练适配参数分别相当于 WavLM-Large 参数量的 0.0009% 和 0.0016%。这些数字不是 EER 绝对值或百分点变化;具体训练划分、其他可训练组件是否计入参数统计、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 自监督 Transformer 提供可访问的逐时刻多层表示,残差组间混合与动态层选择可能用于低参数适配。可复用的是混合矩阵、门控和聚合机制;需改造的是 EEG 通道编码、时间分辨率及任务输出。语音预训练的数据规模与监督条件不能直接等同于 EEG;低信噪比、跨被试差异、通道配置变化和小数据可能使动态权重不稳定。一个可证伪的小实验是在固定 Cross-subject 划分下,对同一冻结 EEG 编码器比较固定层加权、仅 MCRA、仅 FALA 和二者组合,统一参数统计口径并检查跨被试结果波动。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其残差路径适配与逐帧跨层聚合能否以极少可训练参数改善说话人验证,但两模块的独立贡献、参数统计口径及向 EEG 迁移的有效性尚未验证。

来源:arXiv · 在线与高效推理 · arxiv.org