基于超网络的持续学习中的知识交互:冲突与组合
Knowledge Interaction in Hypernetwork-based Continual Learning: Conflict and Composition
基于摘要分析。本文研究预训练 LLM 在基于超网络的持续学习中,如何处理基础模型、参数更新与输入上下文三个来源的知识,重点区分冲突知识的取舍与跨来源知识的多跳组合。其贡献是分析知识来源对预测及内部表征的影响,并据此构造控制模型遵循何种来源的 steering vectors。 方法上,共享超网络根据上下文生成 adapters,使冻结的基础模型无需针对各任务单独更新即可适配。这里的研究对象是 LLM 的知识交互与持续学习,并非 EEG 解码或 BCI;摘要未提供超网络结构、adapter 配置及训练目标的具体信息。 在摘要所述知识冲突评估中,作者报告模型优先遵循上下文,且选择更受知识呈现位置而非内容影响。作者还报告,上下文与 adapter 中的知识会沿与基础模型未受扰动隐藏状态正交的方向改变表征,并据此导出 steering vectors。在多跳推理评估中,作者报告模型无法可靠地组合三个来源的知识,主要失效环节涉及超网络与基础模型、上下文之间的交互。上述结论的适用模型、数据划分、对照条件及量化效果尚未验证,不能据此认定已解决灾难性遗忘。 摘要给出了代码与复现材料地址,但其可用性、实验协议、消融及统计信息尚未验证。该工作可用于理解“选择正确知识来源”与“组合不同来源知识”之间的区别;目前材料未建立这些知识机制与 EEG 信号适配之间的具体对应关系,因此不推导 BCI 有效性,也不提出 EEG 迁移实验。已有 EEG 相关工作尚未检索确认。
值得阅读之处在于将知识冲突中的来源选择与跨来源多跳组合分开评估,并通过表征方向分析构造控制知识来源的 steering vectors;其证据目前限于摘要所述的 LLM 适配框架。
来源:arXiv · 架构与算子 · arxiv.org