arXiv · 架构与算子· Mikhail Aleksandrov; Nail Bashirov; Maksim Ivanov; Andrew Tsukanov; Timofey Karyagin; Alexander Miasnikov; Gleb Molodtsov; Valentin Samokhin; Aleksandr Beznosikov·· 20 小时前精选AI 评分73
并非所有漂移都代表机制:追踪 LLM 中的提示适配
Not All Drift Is a Mechanism: Tracing Prompt Adaptation in LLMs
AI 导读
基于摘要分析。本文研究冻结语言模型中的提示适配如何改变内部计算,比较离散提示优化、prompt tuning 与 prefix tuning 在稠密模型和 mixture-of-experts(MoE)模型中的作用路径。核心贡献是区分一般性的表征漂移与模型完成任务时实际利用的、任务相关的变化,避免仅凭输出表现或表征变化幅度推断适配机制。 作者报告,适配发生的位置能够预测任务信息传递至输出的方式:优化后的文本提示主要改变回答构建过程;输入层面的连续提示将影响写入内容表征;逐层注入的 prefixes 则通过注意力维持直接控制。在 MoE 模型中,这些差异还对应不同的专家路由模式。摘要未提供具体模型、任务、训练设置及定量指标,因此这些结论的适用范围尚未验证。 在测量层面,作者报告,常见表征指标对一般上下文变化也有较强响应,不能可靠地区分有效适配与匹配的安慰剂条件。这提示机制解释需要进一步确认:观察到的变化是否与任务计算对齐,以及模型是否因果性地使用了这些变化。具体表征指标、安慰剂构造、因果干预方式、实验协议、消融及统计信息尚未验证。 本文主要研究对象是 LLM 提示适配,并非 EEG 解码或 BCI。摘要未建立其机制与神经信号任务之间的具体对应关系,因此不能据此推断 BCI 有效性,也不宜直接提出 EEG 迁移方案。
阅读价值
值得阅读之处在于通过不同提示适配位置与匹配安慰剂对照,审视表征漂移是否真正反映任务相关机制;其因果证据与评估协议仍需全文核对。
来源:arXiv · 架构与算子 · arxiv.org