M-JEPA:面向分子图的预测式自监督学习与 Tox21 骨架分布偏移评估
M-JEPA: Predictive Self-Supervised Learning for Molecular Graphs with Scaffold-Shift Evaluation on Tox21
基于摘要分析。该研究面向标签有限的分子性质预测,将 Joint Embedding Predictive Architectures(JEPA)用于分子图表示学习,并在 Tox21 分子骨架分布偏移下同时考察预测区分能力与概率可靠性;其主要研究对象不是 EEG 或 BCI。 方法上,M-JEPA 掩蔽化学上连贯的连通子图,由上下文编码器预测指数移动平均(EMA)教师生成的被掩蔽目标嵌入。作者提出三阶段评估协议:先在固定计算预算下开展 ESOL 上的 80 次目标函数筛选,再仅针对 JEPA 细化掩码与增强选择,最后在 Tox21 上采用 Bemis-Murcko 骨架划分,逐测定任务联合分析区分能力、可靠性及归因诊断。作者将该协议描述为抗泄漏设计,其具体实现仍需全文核对。 作者报告,在 ESOL 代理评估及匹配计算预算的条件下,M-JEPA 与 InfoNCE 基线的平均 RMSE 分别为 2.12 和 3.75,平均配对 dRMSE 为 1.61,95% bootstrap 置信区间为 [1.52, 1.72],Wilcoxon p=2.4e-4。在相同硬件的单 GPU 条件下,作者报告单次运行通常约需 15–25 分钟,基线约需 35–45 分钟,但 M-JEPA 的运行时间方差更高。Tox21 骨架划分结果中,作者报告 ROC-AUC/PR-AUC 的改善依赖具体测定任务,且并不一致对应更好的校准;可靠性图及 Brier/ECE 显示,部分终点在微调后排序改善,预测概率仍存在失准。 平台推测(待验证):预测被掩蔽潜在表示的机制可作为 EEG 自监督学习的候选思路,但需将化学连通子图掩码改造为时段或通道掩码;化学结构一致性不能直接等同于 EEG 通道或时序结构。低信噪比、通道配置差异及小数据可能使预测目标保留伪迹或被试特征。可在固定跨被试划分及匹配计算预算下,对比该预测目标与 InfoNCE,同时评估区分能力和概率校准;这仅是假设性检验,已有 EEG 相关工作尚未检索确认。模型细节、预训练数据规模、数据划分实现、消融及统计信息尚未验证。
值得核对其等计算预算的目标函数比较及区分排序性能与概率校准的评估协议,但分子图上的结果尚不能作为 EEG/BCI 迁移有效性的证据。
来源:arXiv · 泛化与分布偏移 · arxiv.org