LEMON：基于注意力图等变学习的新 LLM 零样本异常行为监测

基于摘要分析。本文研究如何将基于内部表征的异常行为监测器零样本迁移到新的 LLM，以减少更换模型后重新标注的成本。作者提出 LEMON（Language-model Equivariant MOnitoring Network），将跨模型注意力图的不匹配刻画为代数对称性，构建基于图神经网络的在线监测器，使预测对这些对称变换保持不变。 核心机制：摘要指出，不同 LLM 的注意力图可能在注意力头功能、排列及模型深度方面存在差异，导致内部表征难以直接对齐。LEMON 运用几何深度学习原则处理这些差异，在生成过程中逐 token 接收注意力图，并在每个 token 或每个包含 W 个 token 的窗口后输出监测分数。需区分标题中的等变学习与输出层面的不变预测；具体群作用、图构造、训练目标以及不同深度的处理方式尚未验证。 结果：作者报告，在覆盖 16 个 LLM、六个数据集的零样本跨模型评估中，LEMON 在幻觉与越狱监测任务上优于全部所比较的基线，相对最强基线的提升最高为 14 个 ROC-AUC 点；该数值是特定比较中的最高提升，不能理解为平均收益。作者同时称在线处理成本可忽略，但数据集名称、源与目标模型划分、基线配置、统计不确定性及开销测量条件均需核对全文，实验协议、消融及统计信息尚未验证。 跨领域边界：原研究对象是 LLM 注意力图，而非 EEG 或 BCI。平台推测（待验证）：其对结构重排建立不变性的思路，可能为跨被试或跨设备 EEG 表征对齐提供参考，但必须先明确哪些通道或表征变换确实保持任务语义；不能直接将注意力头重排等同于 EEG 通道重排。低信噪比、小数据以及通道位置携带判别信息时，过强不变性可能损害性能。尚未检索确认已有 EEG 相关工作，当前材料不足以认定该方法具有 BCI 迁移效果。