扩散语言模型上下文学习中的标签塌缩

基于摘要分析。本文研究上下文学习（ICL）中示例标签的排列模式如何与模型偏置相互作用，将“标签塌缩”定义为模型生成与查询内容无关的标签这一失效模式。核心贡献是考察该现象在自回归与离散扩散语言模型中的表现，并提出补充 Accuracy 的诊断量及标签提取测量协议。 作者报告，在所测试的 8–9B 规模、五个模型中，自回归模型 Llama-3、Qwen3.5 与离散扩散模型 LLaDA、iLLaDA、LLaDA-Instruct 均出现标签塌缩，甚至类别平衡、标签交替排列的示例也不能避免该现象。部分标签词对在几乎所有受测条件下均发生塌缩，另一些标签词对则随排列模式改变塌缩方向。这里的跨架构结论限于受测模型与条件，不能扩大为所有语言模型的普遍规律。 诊断方面，作者指出：与查询无关的标签输出仍可能取得接近随机水平的 Accuracy，因此仅看该指标无法区分标签塌缩与对两类均衡但低效的预测。论文采用 separation，即查询位置两个标签词的对数几率，作为补充诊断；这也是标签偏置校准所作用的量。作者同时提出防范 tokenizer 与格式因素干扰标签提取的测量协议，但摘要未提供其具体实现。 机制方面，作者报告自回归模型的塌缩可出现在多数标签偏置解释不适用的条件下，且排列模式能够反转塌缩方向，提示仅凭示例类别数量不足以解释该失效。对扩散模型，本文系统评估 ICL 失效模式，但迭代去噪如何与标签偏置交互仍是开放问题，不能据此认定已有明确因果机制。 摘要未给出任务与数据集、示例数量、排列构造、标签词选择、逐模型数值或 separation 的判定阈值；实验协议、消融及统计信息尚未验证。复现时需核对这些条件，以及标签提取与校准流程。研究主要对象是语言模型的标签输出可靠性，并未提供 EEG 或 BCI 验证；已有 EEG 相关工作尚未检索确认。