跳到正文
arXiv · 泛化与分布偏移· Minjae Chung; Clara Li; Malar Paavai Muthukumaran; Shaunna Wang; Aniket Ramkrishnan Iyer; Shaun Qien Yeau Tan; Harinishree Sathu; Micky C. Nnamdi; J. Ben Tamo; Benoit Louis Marteau; May Dongmei Wang·· 7 天前精选AI 评分79

超越随机划分:在化学与生物学驱动的分布偏移下评估药物–靶标亲和力模型

Beyond Random Splits: Evaluating Drug-Target Affinity Models Under Chemically and Biologically Motivated Distribution Shifts Copy

AI 导读

基于摘要分析。研究考察药物–靶标亲和力(DTA)预测中,评估所采用的分布偏移是否会改变模型架构的优劣排序。其贡献是对化学结构、蛋白质靶标及二者同时变化的外推情境进行受控比较,检验单一划分下的模型选择能否适用于其他部署情境。 作者从 ChEMBL 与 BindingDB 整理了 718,800 个唯一药物–蛋白质配对,将 Morgan-fingerprint + protein-CNN 基线与 12 种受控架构进行比较;后者组合四种药物表征与三种 ESM-2 交互模式。摘要未给出各表征和交互模式的具体实现、训练损失及划分构造细节。 作者报告,在 scaffold OOD 与 fingerprint-cluster OOD 下,平均验证 RMSE 分别为 0.950 和 0.945;在 protein-cluster OOD 与 dual OOD 下,分别升至 1.299 和 1.321。两种化学偏移下的模型排名较一致(tau = 0.79),但 protein OOD 与 scaffold OOD 的排名一致性降至 tau = 0.39,dual OOD 与 scaffold OOD 则呈负向关系(tau = -0.55)。这些数值分别对应不同评估分布,不能视为同一测试条件下的直接性能比较;亲和力标签单位、变换及聚合细节尚未验证。 作者报告,留出评估、重复随机种子、考虑分组的 bootstrap 分析以及样本量匹配对照支持同一结论:架构选择依赖外推类型,而不只依赖平均误差或训练集规模。全文中的实验协议、消融及统计信息尚未验证,尤其需要核对分组规则、各划分样本量和排名不确定性。 平台推测(待验证):可迁移到 EEG/BCI 的是评估原则,而非这些 DTA 架构本身。假设被试、会话或采集设备的变化也可能改变模型排名,可在同一 EEG 数据集上对固定候选模型分别进行被试内与跨被试评估,并以被试为单位估计排名不确定性。小样本、低信噪比和通道差异可能使排名更不稳定;原领域结果不构成 EEG 有效性证据,相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其分布偏移评估设计:作者报告化学偏移与蛋白质偏移可改变甚至逆转模型排名,提示架构选择应与预期部署场景匹配,而非仅依据单一划分的误差。

来源:arXiv · 泛化与分布偏移 · arxiv.org