Text2Token：基于 token 目标预测的无监督文本表征学习

基于摘要分析。Text2Token 研究无监督文本表征学习，核心贡献是以合成的 token 目标分布作为监督信号，通过 token 目标预测学习文本表征，为搜索、推荐等依赖未标注文本的任务提供生成式学习框架。 其机制出发点是文本表征与词表空间之间的联系：摘要引用的经验发现认为，高质量表征与输入文本中的关键 token 对齐。作者进一步分析先进嵌入模型的 token 对齐性质，将关键 token 分为文本内有意义的 token，以及文本外由语义派生的 token，并提出 data-driven 与 model-derived 两类方法，分别从数据或 LLM 骨干构造合成 token 目标。摘要尚未交代目标分布的具体计算、损失形式及训练配置，不能据此将其等同于常规下一个 token 预测或掩码建模。 作者报告，在 MTEB v2 基准上，Text2Token 的表现可与采用无监督对比学习的 LLM2Vec 竞争，但摘要未提供具体分数、任务汇总方式及对照配置，无法判断优势范围。作者还报告，训练期间词表空间与表征空间共同优化并趋向最优解；该结论的分析定义与证据需结合全文核对。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的机制假设是利用离散目标分布约束连续表征，而非直接迁移文本词表。若用于 EEG，需要构造能保留神经信号信息的离散码本及目标分布，并改造输入编码与目标生成模块；原方法依赖的文本语义和 LLM 词表先验不能直接视为 EEG 监督。低信噪比、通道差异和小数据可能使离散目标主要编码噪声或被试身份。一个可证伪的小实验是在固定 Cross-subject 划分、相同编码器与训练数据下，比较离散目标预测和对比学习，并检查跨被试表现及目标分布是否退化。该假设并非论文已验证结果，已有 EEG 相关工作尚未检索确认。