跳到正文
OpenReview · State space models· Thomas Hartvigsen; Swami Sankaranarayanan; Hamid Palangi; Yoon Kim; Marzyeh Ghassemi·· 2023-09-22精选AI 评分80

与 GRACE 一同演进:使用离散键值适配器的终身模型编辑

Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors

AI 导读

基于摘要分析。本文研究已部署语言模型因输入变化、用户需求变化或知识缺口而需要持续修正的问题,提出终身模型编辑方法 GRACE,以避免昂贵的重新训练,并缓解连续编辑造成的性能退化。 核心机制是在预训练模型的潜在空间中写入新映射,通过离散键值适配器形成局部编辑码本,而不修改原模型权重。方法以部署过程中陆续发现的错误为编辑来源,目标是在修正相关行为的同时,尽量不影响无关输入。摘要未交代键值构造、局部匹配与覆盖范围、码本更新规则及适配器训练细节,这些机制尚需全文核对。 作者报告,在 T5、BERT 和 GPT 模型上的实验中,GRACE 能够执行并保留连续编辑,同时泛化到未见输入;作者声称该方法首次仅依靠流式错误支持数千次顺序编辑,并在所比较方法中取得最先进表现。摘要没有给出具体模型版本、任务、数据划分、指标数值或基线配置,因此无法量化其优势;实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但实现与复现条件尚未核验。 平台推测(待验证):局部码本与冻结主干的组合,可能为 EEG 解码器部署后的局部纠错提供思路,但原论文对象是语言模型,并非 EEG 或 BCI。该迁移假设依赖可获得的纠错标签,以及能够稳定区分错误类型的潜在表示;可复用的是键值检索与局部编辑框架,需改造的是 EEG 表征、相似度与覆盖范围判定。低信噪比、跨被试及跨会话漂移可能使局部邻域失效,小样本纠错也可能造成过拟合。可先在固定 EEG 解码器的跨会话评估中,仅使用已标注的历史错误逐次编辑,并在独立留出数据上比较编辑保持率与未编辑样本性能。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 GRACE 在不修改预训练模型权重的条件下,以局部离散码本积累连续编辑的机制;其编辑保持能力与对无关输入的影响仍需结合全文实验协议核对。

来源:OpenReview · State space models · openreview.net