Mol-AE:基于自编码器与 3D Cloze Test 目标的分子表征学习
Mol-AE: Auto-Encoder Based Molecular Representation Learning With 3D Cloze Test Objective
基于摘要分析。该研究面向 3D 分子表征学习,针对仅编码器模型配合坐标去噪目标的常见预训练框架,提出自编码器模型 Mol-AE,并引入 3D Cloze Test 训练目标,以学习真实分子子结构中的原子空间关系。 作者报告,通过分析实验发现,所考察的坐标去噪框架存在预训练与下游目标不一致、原子标识受到扰动两类问题。Mol-AE 使用位置编码作为原子标识,并以自编码器和新的训练目标应对上述问题。摘要未给出原子标识受扰的具体定义、位置编码构造、3D Cloze Test 的输入与预测对象、损失形式及训练流程,这些机制细节尚未验证,不能将其直接等同于常规掩码重建。 作者报告,Mol-AE 相较其所称的当前最先进 3D 分子建模方法取得较大性能提升,但摘要未列出数据集、下游任务、数据划分、对照方法、指标或提升数值,因此目前无法判断收益的适用范围,也无法区分自编码器结构、原子标识设计与训练目标的独立贡献。实验协议、消融及统计信息尚未验证。 本文的主要研究对象是分子几何结构,而非 EEG 或 BCI。摘要提供的信息不足以建立原子空间关系学习与神经信号建模之间的具体机制对应,因此不据此推断 EEG/BCI 有效性,也不提出跨领域复现实验建议。
值得核对其对坐标去噪预训练与下游目标不一致、原子标识受扰问题的分析,以及位置编码和 3D Cloze Test 各自带来的贡献;摘要中的性能优势尚需结合具体协议验证。
来源:OpenReview · Representation learning · openreview.net