MAGNET：为生成式解码器增强表示学习与文本片段填补能力

MAGNET 针对仅解码器 LLM 的生成训练与双向表示学习通常相互独立的问题，提出统一适配方法，在保留文本生成能力的同时增强表示学习与缺失文本片段填补。基于摘要分析，未取得论文全文。 核心机制是结合双向注意力与因果注意力，并使用三个自监督训练目标进行统一训练。双向上下文使模型在填补缺失文本时能够利用后续文本，因果建模则服务于原有生成能力。摘要未给出三个目标的具体定义、损失形式、注意力组织方式、基础模型及训练规模，这些实现条件尚未验证。 作者报告，MAGNET 适配后的 LLM 在 token 级和句子级表示学习任务上能够优于先进文本编码器，并改善基础 LLM 生成上下文适配文本填补的能力；作者还报告，模型仍可执行开放式文本生成。摘要未提供数据集、划分、基线名称、指标或数值，因此不能量化优势，也不能判断生成能力保留的程度。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，让表示学习与序列生成共享训练，并按任务组合双向和因果注意力，可能为 EEG 掩码建模与因果序列预测提供设计参考。原方法依赖文本序列及自监督训练，但摘要未交代具体监督构造和数据规模；迁移至 EEG 需改造输入表征、片段填补目标及通道处理，不能直接沿用文本 token 的语义假设。EEG 的低信噪比、跨被试与通道差异，以及小数据条件，可能使任务共享产生负迁移。可检验的小实验是在固定 EEG 数据、被试划分和训练预算下，对照独立训练与共享训练的掩码重建和因果预测表现，评估是否存在互惠或性能损失；这属于迁移假设，而非本文已验证结果。已有 EEG 相关工作尚未检索确认。