用于改善医疗时间序列表示学习的双向生成式预训练

基于摘要分析。本文针对医疗时间序列分类、回归等判别任务的表示学习，提出 Bidirectional Timely Generative Pre-trained Transformer（BiTimelyGPT），在生物信号和纵向临床记录上，通过交替 Transformer 层中的 next-token 与 previous-token 预测进行双向生成式预训练。 核心机制是结合前向和后向时间预测，而非仅做单向 next-token 预测或随机掩码 token 预测。作者称该预训练任务保留时间序列的原始分布与数据形态，并认为满秩前向、后向注意力矩阵具有更强的表示能力。具体注意力构造、预测目标的组合方式、训练与推理时的信息可见范围，摘要未予展开，尚需正文核对。 作者报告，BiTimelyGPT 在生物信号与纵向临床记录上的神经功能预测、疾病诊断和生理体征预测任务中表现更优，但摘要未提供具体数据集、划分协议、对照基线或指标数值。作者还报告，注意力热图可显示模型对生物信号中判别性片段的关注，任务微调后这一现象更明显；该可视化本身不能确立关注片段的因果解释。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 可表示为适合双向时间预测的序列，该机制可能用于学习判别性时序上下文，但原文未明确生物信号是否包含 EEG，已有 EEG 相关工作尚未检索确认。可复用部分是交替方向的预训练目标；需针对 EEG 改造多通道输入、时间切片和预测粒度。低信噪比可能使模型偏向拟合背景波动，跨被试分布差异、通道配置变化及小数据条件也可能限制收益。一个可检验的小实验是在固定 EEG 数据、跨被试划分、模型规模和训练预算下，对比双向交替预测、单向预测与随机掩码预测，使用同一分类指标检验增益；这属于迁移假设，并非论文已验证结果。