arXiv · 学习目标与优化· Yuejia Li; JunHeng Li; Hao Wu; Ke He; Mang Ye·· 4 天前精选AI 评分76
Radioactive Feedback:追踪仅通过 LLM 标签监督训练的模型
Radioactive Feedback: Tracing Models Trained by Label-Only LLM Supervision
AI 导读
基于摘要分析。本文研究 LLM-as-a-Judge 知识蒸馏中的模型来源追踪:学生自行生成全部回答,仅通过评估器给出的标量评分改进,因此无法依靠训练集中复制的教师文本识别监督来源。作者提出 Radioactive Feedback,将预先登记的行为偏好模式编码到奖励中,尝试使第三方训练的学生留下可供黑盒检测的评估器特异性痕迹。 核心机制是在回答满足质量条件时,对其评分施加有界的逐项调整,使反复优化能够通过低带宽奖励信号传递偏好模式,而非通过教师示范答案传递。其研究对象是评分监督的来源识别,不是常规的生成文本水印;作者认为,既有水印与蒸馏检测方法尚未覆盖这一仅评分通道。 作者报告,在代码与数学任务实验中,登记的偏好能够仅通过评分传递,并在跨数据集条件下保留,支持相对于固定参考模型池的黑盒检测。摘要未提供具体数据集、训练方法、评分扰动幅度、检测指标或统计结果,因此不能据此判断检测强度、误报率、对参考池变化的稳健性,以及追踪能力与任务质量之间的权衡;实验协议、消融及统计信息尚未验证。 该工作主要面向 LLM 监督来源与模型溯源,摘要未涉及 EEG 或 BCI,也未给出与神经信号建模的具体机制对应关系,不据此推断其 BCI 有效性。
阅读价值
该研究值得关注之处在于将模型来源追踪从生成文本扩展到仅含标量评分的监督通道,但其检测可靠性与适用边界仍需结合完整实验协议核验。
来源:arXiv · 学习目标与优化 · arxiv.org