InstEmb：通过前瞻 token 蒸馏实现遵循指令的嵌入表示

基于摘要分析。该研究面向文本领域的指令遵循嵌入表示：作者认为，仅依赖最后一个输入 token 的隐藏状态，难以完整捕获分布于输出 tokens 中的语义信息，而离散到连续的重新编码又会引入语义不连续。为此，作者提出 InstEmb，通过联合学习主要语义与补充语义来构建表示。 方法包含两个训练目标：对最后一个输入 token 的表示进行对比学习，以保留主要语义；利用可学习的 look-ahead tokens 开展表示蒸馏，以吸收补充语义。作者还提出 Dual-Anchor Alignment Pooling（DAAP），使池化过程与上述双重训练目标显式对齐。作者称该机制不引入额外解码延迟，但蒸馏目标的来源、具体损失、token 构造、池化计算及延迟测量条件尚未验证。 作者报告，在不使用基准特定监督数据的前提下，InstEmb 在多个指令遵循基准上达到最先进性能。摘要未提供基准名称、评价指标、具体分数与对照配置，因此不能据此比较提升幅度；这一监督条件也不等同于训练过程完全不使用监督信息。实验协议、消融及统计信息尚未验证。 该论文的主要对象是文本嵌入，而非 EEG 或 BCI。平台推测（待验证）：若任务已具备 EEG—文本语义对齐数据，InstEmb 可作为文本侧表示模块的候选，但其蒸馏机制依赖 LLM 的 token 表示，不能直接视为 EEG 编码方法。跨模态对齐方式、监督规模及低信噪比和跨被试条件下的有效性均需另行验证；已有 EEG 相关工作尚未检索确认。