预训练模型表示作为机器学习原子间势(MLIPs)主动学习的采集信号
Pretrained Model Representations as Acquisition Signals for Active Learning of MLIPs
基于摘要分析。研究针对反应化学中机器学习原子间势(MLIPs)训练所需量子化学标注昂贵、候选池中渡越态构型稀缺的问题,考察预训练模型的表示能否直接提供有效的主动学习采集信号。核心贡献是从预训练 MACE 势模型构造有限宽度神经切线核(NTK)和基于隐藏表示的 activation kernel,用于指导样本选择,而不依赖额外不确定性预测头、贝叶斯训练与微调或委员会集成来构造采集信号。 作者报告,在反应化学基准上,两类核持续优于固定描述符基线、委员会分歧和随机采集;达到能量误差与力误差性能目标所需的数据量平均分别减少 38% 和 28%。这些数字对应摘要所述基准与性能目标,但具体数据集、目标阈值、划分、平均方式及各基线设置尚未验证,不能据此推断其他协议下的收益。 作者还报告,预训练模型诱导的相似性空间保留了具有化学意义的结构,并比随机初始化或基于固定描述符的核提供更可靠的残差不确定性估计。作者据此认为,预训练使潜在空间几何与模型误差相对应,可为反应化学 MLIP 微调提供实用的采集信号。核如何转化为采集排序、NTK 的计算成本,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的方法假设是利用预训练 EEG 编码器的表示相似性或 NTK 选择高价值待标注样本,以缓解标注预算有限的问题;可复用的是表示核构建思路,需改造的是 EEG 样本单位、采集准则与任务监督。原研究依赖原子构型及能量、力监督,其有效性不等于 EEG 分类有效性;低信噪比、跨被试差异、通道变化和小数据可能使表示相似性偏向伪迹或被试身份,而非任务误差。一个可检验的小实验是在固定预训练编码器与标注预算下,比较表示核采集和随机采集,并独立评估跨被试测试结果。相关 EEG 工作尚未检索确认。
值得核对预训练表示核能否替代额外不确定性建模来降低主动学习标注成本,但摘要中的有效性证据限于反应化学 MLIP,尚不能视为 EEG/BCI 的验证。
来源:OpenReview · State space models · openreview.net