超越原子:通过三维空间建模增强分子预训练表征
Beyond Atoms: Enhancing Molecular Pretrained Representations with 3D Space Modeling
基于摘要分析。本文研究药物发现、材料设计等低监督数据场景中的分子预训练表征(MPR),提出 SpaceFormer,将建模对象从离散原子扩展到分子所覆盖的三维空间,以利用原子位置之外的空间信息。 作者指出,已有三维 MPR 方法虽引入分子构象,却主要将分子视为离散原子集合。作者报告,在原子之外加入随机采样的虚拟点即可改善表征性能;据此进一步提出基于 Transformer 的 SpaceFormer,包含基于网格的空间离散化、网格采样与合并、高效三维位置编码三个核心组件。其主要研究对象是分子空间表征,而非 EEG 信号或状态空间模型;具体预训练目标、虚拟点特征定义及网格处理细节尚未验证。 作者报告,SpaceFormer 在多个有限数据的下游任务上显著优于此前的三维 MPR 模型。摘要未提供任务和数据集名称、数据划分、对照模型、指标、数值或统计检验,因此尚不能判断改进幅度及适用边界。需结合全文核对随机虚拟点与结构化网格的对照、空间采样和合并策略的消融,以及空间覆盖范围对计算开销和结果的影响;实验协议、消融及统计信息尚未验证。 该方法依赖分子三维构象及其周围空间这一数据结构。现有材料未建立其与 EEG/BCI 瓶颈的具体机制对应,不能将分子任务收益视为神经信号建模的有效性证据;相关 EEG 工作尚未检索确认。
值得核对的是将分子表征从离散原子扩展至周围三维空间的建模思路,尤其是随机虚拟点与结构化空间建模各自的收益,但摘要不足以确认其适用于 EEG/BCI。
来源:OpenReview · State space models · openreview.net