跳到正文
arXiv · 表征与预训练· Kasper Helverskov Petersen; Rasmus Hannibal Tirsgaard; François R J Cornet; Mikkel Jordahn; Mikkel N. Schmidt·· 4 天前精选AI 评分75

Atom-JEPA:面向三维原子体系的联合嵌入预测架构

Atom-JEPA: Joint-Embedding Predictive Architecture for 3D Atomistic Systems

AI 导读

基于摘要分析。Atom-JEPA 针对原子体系自监督预训练尚未获得与语言、视觉领域相当的下游泛化能力这一问题,提出从无标签三维结构学习潜在表征的预训练框架。其核心贡献是结合受 Joint-Embedding Predictive Architecture 启发的原子级与子结构级互补目标,并通过下游性质预测评估迁移能力。 机制与评估:作者在大规模分子和晶体数据集上预训练,再针对多种下游性质预测任务微调。摘要明确了两种粒度的学习目标,但未给出潜在目标的构造方式、损失形式、编码器结构或训练细节,不能据此认定其采用特定掩码、教师更新或几何不变性设计。具体数据集、规模、划分及对照基线尚未验证。 结果与复现:作者报告,在分子 ADMET 与量子化学性质预测任务上达到最先进性能,在晶体材料物理性质预测上具有较强竞争力;摘要未提供具体指标或数值,尚不能量化收益或比较不同协议。作者表示代码与预训练模型检查点已公开,但运行条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设多粒度潜在预测能够减少对标签的依赖,其概念可能对应 EEG 标注稀缺及局部通道信息与整体时空结构协同建模的需求。可借鉴的是不同粒度的表征预测目标;三维原子输入编码、结构划分和下游任务头则需改造为 EEG 时空输入。原方法依赖三维分子或晶体结构及大规模无标签数据,不能直接等同于低信噪比、跨被试和通道配置变化下的 EEG。已有相关 EEG 工作尚未检索确认。一个可检验的小实验是在固定骨干、预训练数据和微调划分下,对比随机初始化、单粒度与双粒度潜在预测,采用隔离被试的 Cross-subject 评估检验收益;该方案仅为迁移假设,并非论文已验证结果。

阅读价值

值得关注其以原子级与子结构级互补目标开展潜在空间预测预训练的机制,以及仅依赖无标签三维结构的迁移能力;摘要提供了代码与预训练权重地址,但具体效果与 EEG 迁移价值尚未验证。

来源:arXiv · 表征与预训练 · arxiv.org