跳到正文
OpenReview · Representation learning· Tianhao Gao; Jun Fang; Xiaohui Zhang; Zhiyuan Liu; Chao Liu; Pengzhang Liu; Qixia Jiang·· 2026-05-01精选AI 评分75

InstEmb:通过前瞻信息构建遵循指令的嵌入表示

InstEmb: Instruction-Following Embeddings through Glimpses of the Future

AI 导读

基于摘要分析。InstEmb 面向文本指令遵循嵌入,旨在解决仅依赖输入最后一个 token 的隐藏状态难以捕获完整输出语义,以及离散到连续重新编码可能造成语义不连续的问题。其核心贡献是联合学习输入内在语义与输出感知语义,并提出与这两类训练目标对齐的 Dual-Anchor Alignment Pooling(DAAP)。 机制上,输入内在语义通过针对输入最后一个 token 表示的对比学习优化;输出感知语义则通过可学习的 look-ahead tokens 和表示自蒸馏获得。作者称该设计不引入额外解码延迟,但摘要未交代蒸馏目标的构造、look-ahead tokens 的具体交互方式,以及 DAAP 的计算细节,相关实现与开销仍需正文核对。 作者报告,在不使用基准专属监督数据的条件下,InstEmb 在多个指令遵循基准上取得最先进表现。摘要未列出基准名称、指标、分数、数据划分及对照模型,因此尚不能核对性能优势的幅度或适用范围;不使用基准专属监督数据也不等于整体训练无需监督。实验协议、消融及统计信息尚未验证。 该研究的直接对象是文本嵌入,而非 EEG 或 BCI。摘要提供了利用输出感知信息改进表示学习的机制线索,但未建立其与神经信号数据结构或任务监督之间的具体对应关系,因而不据此推断 EEG/BCI 效果或提出迁移实验。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何用可学习的 look-ahead tokens 与表示自蒸馏补充输入末尾 token 的语义表示,以及无额外解码延迟这一主张的评估条件;摘要尚不足以判断其对 EEG/BCI 的适用性。

来源:OpenReview · Representation learning · openreview.net