跳到正文
OpenReview · Representation learning· Tianlang Chen; Shengjie Luo; Di He; Shuxin Zheng; Tie-Yan Liu; Liwei Wang·· 2023-09-23精选AI 评分76

GeoMFormer:用于几何分子表征学习的通用架构

GeoMFormer: A General Architecture for Geometric Molecular Representation Learning

AI 导读

基于摘要分析。本文研究分子建模中的几何表征学习,提出 Transformer 架构 GeoMFormer,以分别学习不变特征与等变特征,并通过交叉注意力融合两类信息。原研究对象是受旋转、平移等几何约束的分子系统,不是 EEG 解码或 BCI。 机制上,GeoMFormer 使用标准 Transformer 模块构建两个独立信息流,分别维持和学习不变表征与等变表征,再以专门设计的交叉注意力连接两者,增强各自的几何建模能力。作者提出,许多既有架构可视为 GeoMFormer 的特例;这一概括的适用条件及具体推导仍需正文核对。摘要未披露输入编码、等变约束的实现、损失函数及训练细节。 作者报告,该架构在不同类型与规模的不变、等变任务上均取得较强表现,但摘要没有列出数据集、划分协议、对照基线或具体指标,因此不能据此量化改进幅度。实验协议、消融及统计信息尚未验证。作者表示将公开代码和模型,当前材料不足以确认其已发布。 平台推测(待验证):双流建模可作为几何感知 EEG 表征的候选思路,但迁移假设依赖明确的电极三维坐标,以及对哪些变化应保持不变、哪些量应等变的任务定义。可考虑复用双流交互机制,需改造分子输入编码与 EEG 时序表征;头皮电极布局的坐标变换并不自动等同于信号的真实对称性,低信噪比、跨被试解剖差异、通道缺失和小数据均可能削弱收益。一个小规模可证伪实验是在固定跨被试划分与训练预算下,对照普通 Transformer 与几何双流模型,分别检验一致坐标旋转和通道缺失时的性能及稳定性。该实验仅检验迁移假设,不代表原论文已验证 BCI 效果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以双流 Transformer 和交叉注意力统一建模不变与等变特征的机制,但摘要未提供具体实验协议与指标,其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net