MAGNET：为生成式解码器增强表征学习与文本填补能力

基于摘要分析。该研究面向 decoder-only 大语言模型中单向生成与双向表征学习通常分开训练的问题，提出 MAGNET，使模型在统一训练框架下兼顾表征学习、缺失文本片段填补与开放式文本生成。主要研究对象是语言模型，并非 EEG 或 BCI 模型。 机制上，MAGNET 使用三个自监督训练目标，并引入结合双向注意力与因果注意力的机制，以支持不同目标的统一训练。摘要未列出三个目标的具体定义、损失形式、注意力可见性规则及训练流程，这些实现细节尚未验证。其关键研究问题是：如何利用双向上下文改善表征与填补，同时保留因果生成能力，而不是分别训练用途不同的模型。 作者报告，适配后的模型在 token 级与句子级表征学习任务上超过强文本编码器，能够利用前后文生成符合语境的填补文本，并在开放式生成中避免过度重复，同时保留预训练获得的知识与推理能力。摘要未提供具体基座模型、数据集、评估划分、对照名称或量化指标，因此这些结论的适用范围，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：混合注意力可能为同时需要离线双向表征与因果预测的 EEG 序列模型提供设计参考，但文本上的有效性不等于 BCI 有效性。迁移假设依赖 EEG 可被组织为有序序列，并具有可用的自监督训练数据；可借鉴注意力可见性设计，输入编码与训练目标则需适配连续、多通道信号。低信噪比、跨被试差异与小数据可能削弱联合训练收益，双向上下文也不能直接用于严格在线解码。可先在固定数据划分与相同模型预算下，对比单独训练和联合训练的离线表征效果与因果预测效果，检验是否出现负迁移。已有 EEG 相关工作尚未检索确认。