探索 LLM 表征空间中的个性化偏移
Exploring Personalization Shifts in Representation Space of LLMs
基于摘要分析。本文研究 LLM 如何高效适配用户的隐含偏好与行为模式,提出 PerFit:直接在隐藏表征空间中微调干预,通过两阶段方案处理群体共享偏移与用户特异偏移,以减少个性化所需的参数开销。 机制方面,作者报告用户个性化信息位于由向量表示的低秩子空间中,且这些向量同时呈现跨用户共享的集体偏移和个体独有的个性化偏移。PerFit 据此设计表征干预,而非仅依赖 RAG、PAG 等免调参方法或 LoRA 等参数微调方法。摘要未说明两阶段的具体训练顺序、干预位置、损失函数、低秩结构的识别方法,以及用户偏好所需的监督形式与数据规模,上述细节尚未验证。 结果方面,作者报告 PerFit 在六个数据集上取得较强表现,相较其所称的最先进方法,参数数量平均减少 92.3%。摘要未列出数据集、任务指标、基线名称及参数统计口径,因此该比例不能解读为总模型参数、运行时间或显存同比减少;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其“共享偏移+个体偏移”的分解可为 EEG 跨被试适配提供方法假设,但原论文研究对象是 LLM 用户个性化,并非神经信号。可能复用的是低秩表征干预与共享/个体分解,需改造 EEG 编码器接口、训练目标和被试校准流程;低信噪比、通道差异及小样本可能使个体偏移主要捕获噪声或采集条件。一个可证伪的小实验是在固定 EEG 编码器和一致跨被试划分下,以等量目标被试校准数据,比较共享干预、个体干预及二者结合,并同时记录任务指标与可训练参数量。相关 EEG 工作尚未检索确认,此迁移假设不属于本文已验证结果。
值得关注的是作者将 LLM 个性化表征拆为群体共享偏移与用户特异偏移,并据此设计低参数干预;其机制证据与参数节省的比较口径仍需全文核对。
来源:OpenReview · State space models · openreview.net