跳到正文
arXiv · 在线与高效推理· Yuan-Chao Li; Yin-Long Liu; Liu He; Sizhe Liu; Ji-Xuan Deng; Yin Zhang; Zhen-Hua Ling; Jiahong Yuan·· 2 天前精选AI 评分74

Dual Task Vector Merging:利用情感与 ASR 知识进行低资源阿尔茨海默病检测

Dual Task Vector Merging: Leveraging Emotion and ASR Knowledge for Low-Resource Alzheimer's Disease Detection

AI 导读

基于摘要分析。该研究针对基于语音的阿尔茨海默病(AD)检测中数据有限、全量微调易过拟合而冻结编码器探针难以充分利用任务知识的问题,提出 Dual Task Vector Merging,将外部情感识别与自动语音识别(ASR)任务知识引入冻结的 wav2vec 2.0。主要研究对象是语音疾病检测,并非 EEG 或 BCI 解码。 方法以情感任务和 ASR 任务微调后的 wav2vec 2.0 相对原模型的权重差分构建两个任务向量,并将其注入各 transformer 层。AD 训练阶段仅优化逐层合并系数及线性分类头。作者报告,该阶段更新的参数少于全量微调所需参数的 0.1%;这一比例不等同于包含外部任务模型训练在内的总计算或存储成本。 作者报告,在 ADReSS 和 ADReSSo 的说话人独立实验中,双任务向量合并在主要二分类设置下优于冻结探针、LoRA 和全量微调,与 LoRA 结合时取得最佳结果。在 PROCESS 上,作者报告该方法与 LoRA 配合时,优势可延伸至 HC/MCI/dementia 三分类。作者还报告,在使用 20%、40% 和 80% 训练数据的设置下仍有稳定收益;摘要未提供具体指标、分数、抽样方式或统计不确定性,不能据此量化提升幅度。 复现时需核对任务向量来源模型、权重差分与合并的具体实现、数据划分、超参数选择,以及各基线的训练预算。实验协议、消融及统计信息尚未验证。该方法依赖同一骨干下可合并的任务权重;外部语音任务知识能否对应 EEG 表征尚无材料支持,不应将语音检测结果视为 BCI 有效性证据,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其以外部情感与 ASR 任务权重差分适配冻结语音编码器的参数高效方案,尤其是低资源条件下相对 LoRA 和全量微调的收益及任务向量构建成本;这些结论目前仅有摘要支持。

来源:arXiv · 在线与高效推理 · arxiv.org