跳到正文
OpenReview · State space models· Jiahong Liu; Wenhao Yu; Quanyu Dai; Zhongyang Li; Jieming Zhu; Menglin Yang; Tat-Seng Chua; Irwin King·· 2026-01-26精选AI 评分74

PerFit:探索 LLM 表征空间中的个性化偏移

PerFit: Exploring Personalization Shifts in Representation Space of LLMs

AI 导读

基于摘要分析。本文研究 LLM 如何适配用户的隐式偏好与行为模式,提出 PerFit,通过两阶段微调隐藏表征空间中的干预,分别处理用户间共享的偏移与用户特异的偏移,旨在兼顾个性化效果与参数效率。 作者报告,用户个性化信息位于由向量表示的低秩子空间中,这些向量既包含跨用户共享的整体偏移,也包含各用户独有的个性化偏移。PerFit 以此为依据直接调整表征干预,而非仅依赖摘要列举的免微调方法 RAG、PAG 或参数微调方法 LoRA。摘要未说明低秩子空间的识别方式、干预位置、两阶段训练的具体划分、损失函数及用户监督信息,相关机制细节尚未验证。 作者报告,在六个数据集上的个性化实验中,PerFit 表现较强,且相较于文中所称的最先进方法,参数数量平均减少 92.3%。摘要未给出数据集名称、任务指标、对照方法名称及参数统计口径,因此这一结果不能解读为总模型参数减少,也不足以判断性能提升幅度或实际训练、推理开销。实验协议、消融及统计信息尚未验证。 平台推测(待验证):共享偏移与个体偏移的分离可作为 EEG 跨被试适配的一项机制假设,但原研究处理的是 LLM 用户偏好,不是神经信号解码。迁移依赖 EEG 表征中存在可分离的共享与被试特异低秩结构;可尝试复用低秩表征干预思想,但需改造信号编码器、任务监督和被试适配流程。低信噪比、通道差异及小样本可能使个体偏移捕获伪迹而非任务信息。一个可检验的小实验是在固定 EEG 编码器和一致的跨被试划分下,比较共享干预、被试特异干预及两者组合,限定相同目标被试校准数据,检验分离偏移是否改善预先指定的解码指标。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其将共享偏移与用户特异偏移分离的表征干预机制,以及作者报告的参数节省是否在一致的个性化评估协议下成立;其对 EEG 个体适配的价值尚未验证。

来源:OpenReview · State space models · openreview.net