通过冻结嵌入锚定的语言模型训练获得规整的跨域表示

基于摘要分析。研究关注在不同领域数据上分别训练的语言模型，能否形成对齐的表示空间。其方法以预训练且冻结的嵌入初始化自回归语言模型，并在随机初始化的骨干网络训练期间持续以此锚定表示空间，而非联合更新所有组件。 研究聚焦参数量小于 100M 的语言模型，在不同领域数据集上独立预训练多个模型。作者报告，在这一锚定设置下，不同模型对相同上下文产生的表示持续呈现对齐现象，评估采用 centered cosine distance 和 CKA；同时，各模型在其对应领域表现更好。摘要未提供具体数据集、任务指标、数值或对照结果，因此不能据此判断对齐幅度，也不能将表示相似性直接解释为任务层面的跨域泛化提升。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的机制是以共享且冻结的输入嵌入约束独立训练模型的表示坐标系；它依赖不同模型之间可对应的输入表示，以及用于检验对齐的相同上下文。若用于 EEG 跨被试或跨设备表征研究，需要先构建可共享的信号嵌入，并处理通道布局、时间采样与信号统计差异，不能直接照搬语言嵌入。低信噪比、被试差异及小数据可能使冻结嵌入固定不合适的偏置，即使表示更相似也未必改善解码。 一个可检验的小实验是：在固定数据划分和相同骨干训练条件下，对比共享冻结嵌入、共享可训练嵌入与独立初始化嵌入，分别检查匹配输入的表示相似性和 Cross-subject 解码表现，检验对齐是否伴随任务收益。该实验属于迁移假设，已有 EEG 相关工作尚未检索确认。