扩散应在语言模型的何处接入？几何引导的隐藏状态替换

基于摘要分析。本文研究连续扩散语言模型中的扩散接入位置问题，提出几何引导的扩散与 transformer 混合方法 DiHAL：通过评估预训练模型各层的隐藏状态几何，选择适合扩散的接口，而非直接在不利于语言去噪和 token 恢复的空间中进行扩散。 核心机制是使用基于几何的代理指标为各层评分，再以 diffusion bridge 替换所选接口以下的 transformer 前缀，保留其上层和原有 LM head。该设计将扩散模块的恢复目标转向中间隐藏状态，并利用保留的语言模型部分完成后续处理，避免直接进行连续表示到离散 token 的恢复。摘要未给出几何评分定义、bridge 结构、损失函数或具体训练流程。 作者报告，在 8B 规模骨干模型、固定 bridge 训练协议下，几何评分能够预测有效的浅层接入位置；在匹配训练预算的诊断性比较中，隐藏状态恢复优于连续扩散基线。摘要未提供具体指标、分数、数据集或基线名称，因此不能将这一结果扩展为整体文本生成质量优于自回归 transformer，也不能判断收益是否能跨模型或跨任务保持。实验协议、消融及统计信息尚未验证。 该研究的主要对象是预训练语言模型，而非 EEG 解码或 BCI。其直接阅读价值在于考察表示空间几何能否指导模块替换位置；材料尚未建立语言隐藏状态几何与低信噪比神经信号之间的具体对应关系，因此不提出 EEG 迁移实验。已有 EEG 相关工作尚未检索确认。