解释 Mixture-of-Experts LLMs 中专家在个性化中的作用

基于摘要分析。本文研究 LLM 个性化行为由哪些内部组件承载，以及如何定位和调控这些组件；作者提出对 Mixture-of-Experts（MoE）LLMs 进行个性化适配，并结合 crosscoders 与因果干预分析专家的功能分工，主要研究对象是语言模型个性化，而非 EEG 或 BCI。 方法上，MoE 为每个 token 稀疏选择少量专家。作者在一个大规模个性化数据集上适配三个开放权重 MoE LLMs，再以个性化模型与非个性化模型的配对激活训练 crosscoders，学习可解释的个性化潜变量，并据此定位编码不同个性化特征的专家。摘要未给出模型名称、数据集名称、适配方式或 crosscoders 的具体训练目标。 作者报告，个性化 MoE LLMs 在仅激活部分参数的情况下，取得与稠密 LLMs 有竞争力的表现；与激活参数量相近的稠密模型相比，其多义性更低。在同一模型家族内，作者还报告其个性化潜变量与非个性化模型的共享程度更低。摘要未提供任务指标、数值、数据划分及对照配置，因此尚不能量化性能与计算成本的权衡。 在因果干预中，作者报告这些潜变量足以恢复个性化模型的行为，增强关联专家则可使非个性化模型的行为向个性化模型靠近，提示不同个性化特征存在不同的路由路径。需进一步核对干预强度、行为恢复的评价定义、非目标能力变化，以及跨模型和用户的稳定性；实验协议、消融及统计信息尚未验证。 该机制依赖可对齐的模型激活与个性化监督，不能直接等同于跨被试 EEG 适配。材料未提供神经信号任务或对应验证，已有 EEG 相关工作尚未检索确认，因此不据此推断 BCI 效果。