跳到正文
arXiv · 在线与高效推理· Xingke Yang; Sicong Li; Lingfeng Yao; Rui Chen; Changqing Luo; Xin Fu; Miao Pan·· 4 天前精选AI 评分73

快速且准确:基于语义集中度在 RAG 与微调之间划分工作负载以提升个性化 LLM 性能

Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning

AI 导读

该研究面向个性化 LLM 服务中生成准确性/质量与推理延迟的权衡,提出 PEFT Union RAG(PUR),依据用户历史数据的语义集中度,在参数高效微调(PEFT)与检索增强生成(RAG)之间划分工作负载。基于摘要分析,未取得论文全文。 核心机制是将语义集中的“核心”个人信息交由 PEFT 进行离线参数微调,将较分散的信息保留给 RAG。在线推理时,对 PEFT 覆盖区域内的“核心”查询直接生成回答,仅对零散的“外围”查询调用 RAG。其方法重点不是始终叠加微调与检索,而是利用个人数据的语义分布差异,选择信息存储方式与查询处理路径。 作者报告,在多个任务、不同用户的实验中,PUR 获得了所比较方法中最佳的生成准确性/质量,并相较表现最佳的对照方法降低推理延迟 14.4%–46.6%。摘要未明确任务、数据集、用户规模、数据划分、质量指标及该延迟比较所对应的具体基线,因此这些结果不能外推为任意个性化服务中的收益。语义集中度的计算方式、数据分区与在线路由判据、微调成本、实验协议、消融及统计信息尚未验证。 该论文的主要研究对象是个性化文本生成,并非 EEG 解码或 BCI。摘要提供的机制依赖个人历史文本的语义结构,尚不足以建立与神经信号瓶颈的具体对应关系,因此不据此提出 EEG 性能结论或复现实验建议;相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是 PUR 能否依据个人历史数据的语义集中度,在保留生成质量的同时减少在线检索开销;摘要报告了延迟收益,但路由判据及完整比较协议尚未验证。

来源:arXiv · 在线与高效推理 · arxiv.org