面向医学分类体系感知的医学语言模型适配的条件秩分配
Conditional Rank Allocation for Taxonomy-Aware Medical Language Model Adaptation
基于摘要分析。医学问答涉及不同专科与临床操作,统一的低秩更新可能难以兼顾不同适配方向。本文提出参数高效方法 ARBOR,为每个问题从共享低秩基中选择秩一分量,以结构化条件路由实现问题级适配。 核心机制是加性门控:结合问题表征、专科标签、操作标签及其交互项决定分量选择,并通过学习到的系数缩放适配器残差。作者在子任务正交且等概率的示例条件下展示,条件选择可避免同等活跃秩的固定更新所面临的近似误差下限;这一结果用于解释设计动机,作者并未声称它对应医学语料上的误差界。具体门控参数化、标签获取方式、训练目标与秩配置尚未验证。 作者报告,在 Qwen3-8B 上使用 CMB、CMExam、MedQA 和 MedMCQA,五个随机种子的实验得到跨基准平均 Accuracy 69.69%,比 LoRA r16 和 MoELoRA 分别高 1.26 和 1.30 个百分点。作者还报告,训练覆盖从一个专科扩展至七个专科时,相对 LoRA r16 的优势由 0.08 增至 1.94 个百分点;具体训练规模、数据划分及各基准结果尚未验证,不能据此分离专科多样性与样本规模的影响。 作者报告,标签扰动和分量遮蔽实验支持临床路由的作用,分量聚类与所提供专科标签的 adjusted Rand index 为 0.62。摘要提及校准、迁移及实测成本,但未给出具体结果。复现需核对标签在训练与推理时的可用性、共享基与活跃秩设置、基线预算、统计不确定性及成本测量协议;实验协议、消融及统计信息尚未验证。临床安全与更广泛部署仍未经验证,这些医学问答结果也不构成 EEG/BCI 有效性的证据。
值得核对 ARBOR 如何在相同活跃秩下利用医学分类标签实现条件适配,以及相对固定 LoRA 的收益是否随专科覆盖扩大而稳定增加;摘要中的理论示例不构成医学语料上的误差界。
来源:arXiv · 在线与高效推理 · arxiv.org