跳到正文
OpenReview · Representation learning· Minju Gwak; Minseo Kwak; Dongseok Lee; Guijin Son; Alan Ritter; Jaehyung Kim·· 2026-06-03精选AI 评分75

LaRA:用于检测 RL 后训练数据污染的逐层表征分析

LaRA: Layer-wise Representation Analysis for Detecting Data Contamination in RL Post-Training

AI 导读

基于摘要分析。该研究面向大语言模型(LLMs)的强化学习(RL)后训练数据污染问题,提出逐层表征分析框架 LaRA,通过受控扰动下的内部表征变化检测污染,而非仅依赖输出似然或熵。 核心机制:作者认为,RL 通过轨迹级奖励塑造模型行为,使依赖 token 似然的输出级检测信号变得不可靠。LaRA 引入三个互补指标,分别衡量扰动敏感性、方向坍缩与局部表征刚性。作者报告,污染伴随逐层发展的几何偏移,表现为扰动敏感性放大、方向坍缩增强和局部刚性提高;据此,检测协议跨层、跨指标聚合表征偏移信号。 结果与证据边界:作者报告,在 RL 训练的推理模型上,该协议的数据污染检测表现优于已有输出级基线。摘要未提供模型名称、污染构造方式、数据集、划分、检测指标或具体数值,因而尚不能判断优势幅度及适用范围。受控扰动的定义、指标计算方式、聚合规则、检测阈值、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移的方法假设是,训练数据暴露可能在内部表征对扰动的响应中留下可检测信号,而不只体现为输出置信度。这可对应 EEG 模型评估中的样本重叠审计问题,但并非已验证的 EEG/BCI 检测方法。可复用的是逐层探测与多指标聚合思路;需改造的是适合 EEG 的受控扰动及判定协议。低信噪比、跨被试差异、通道变化和小数据均可能产生与污染相似的几何变化。一个可证伪的小实验是:在固定跨被试划分下,以受控方式向训练集加入部分测试样本,对比有、无重叠模型的表征指标与输出置信度,并检验未重叠被试上的误报情况。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过逐层表征几何检测 RL 后训练数据污染的机制,以及与输出级检测方法的对照;作者报告的优势仍需结合全文实验协议核验。

来源:OpenReview · Representation learning · openreview.net