基于掩码扩散语言模型的掩码率分辨文本评估

基于摘要分析。本文研究文本生成评估中单一分数难以揭示错误来源的问题，提出 rate-resolved text evaluation：利用掩码扩散语言模型在不同 token 掩码比例下重建文本，将压缩后的单一扩散评分保留为按掩码率区间划分的评分向量，以刻画不同可见上下文条件下的重建难度。 核心机制是把掩码率作为诊断轴，而非仅作为计算最终分数的内部参数。作者报告，在 SummEval 上，最佳掩码率区间与自回归似然融合的效果优于压缩后的扩散标量；相关效果经用于破坏掩码率顺序的样本打乱对照后仍然存在，并能为固定的提示式评判器提供残差信号。作者还报告，第二个扩散模型复现了较弱的效果。摘要未提供具体分数、融合方式及最佳区间的选择协议，效果大小与稳健性尚未验证。 在 WMT MQM zh-en 上，作者采用往返式掩码—重建探测，报告可通过掩码率调节错误定位表现，且面向排序的 AUROC 与片段检测 F1 在不同掩码率达到峰值。这提示不同评估目标可能需要不同的掩码率设置，但不意味着存在通用最优区间。事实性基准进一步限定了解释范围：各区间的语义依赖模型与任务，每项应用均需经验验证。实验协议、消融及统计信息尚未验证。 本文主要研究对象是文本生成评估，并未提供 EEG 或 BCI 验证。平台推测（待验证）：若 EEG 掩码重建模型具备可比较的重建评分，不同掩码率下的评分曲线或可用于诊断模型对可见上下文的依赖；可复用的是分区间评估思路，而非文本模型或区间语义。迁移需重新设计时间与通道掩码、重建评分及控制条件，且低信噪比、通道差异和小样本可能使曲线主要反映噪声。可先在固定模型和被试内划分下，检验评分曲线能否区分预设的时间扰动与通道扰动，并与单一汇总分数比较；已有 EEG 相关工作尚未检索确认。