REZE：面向域适应文本嵌入预微调的表示正则化

基于摘要分析。本文研究文本嵌入模型在专业领域进行对比式预微调（PFT）时，异质任务监督引入任务偏置、扰动预训练嵌入几何的问题，提出表示正则化框架 REZE，以控制表示偏移，同时保留领域知识与任务不变的语义结构。 机制上，REZE 对 anchor-positive 样本对的关系进行特征空间分解，再度量各特征分量上的任务间离散程度，以识别随任务变化的方向，并通过自适应软收缩抑制任务诱导噪声。其目标并非单纯追求嵌入空间各向同性，而是限制预微调对原始表示结构的扰动。摘要称该机制不增加推理时开销；具体关系构造、分解方式、正则化目标与训练成本尚未验证。 作者报告，在多个文本嵌入骨干模型和专业领域基准上，REZE 在多数设置中优于标准 PFT 及面向各向同性的事后正则化，并在已有 PFT 变体出现性能崩溃的设置中保持稳定。作者还报告，嵌入空间分析显示其表示偏移与原始嵌入流形保持对齐。摘要未提供具体模型、数据集、划分、指标或数值，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能用于研究 EEG 预训练表示在异质任务适配中的结构保持，但前提是能够构造具有一致含义的正样本对，并有足够数据估计任务间方向差异。可考虑复用关系分解与软收缩思路，而编码器、配对规则及任务划分需要针对 EEG 改造。主要风险是被抑制的任务变化方向实际包含有效神经信息，且低信噪比、通道差异与小样本可能使方向估计不稳定。一个可证伪的小实验是在固定 EEG 编码器与跨被试划分下，对比标准对比式适配和加入该正则化的适配，同时检查下游表现与表示偏移，验证结构保持是否真正改善泛化。已有 EEG 相关工作尚未检索确认。