利用扩散语言模型发现数学方程
Discovering Mathematical Equations with Diffusion Language Model
基于摘要分析。该研究面向从观测数值数据中发现有效且有意义的数学方程,即符号回归,旨在应对表达式搜索空间庞大及拟合精度与复杂度之间的权衡。作者提出 DiffuSR,一种基于连续状态扩散语言模型的符号回归预训练框架,以迭代去噪生成受数值数据引导的符号表达式。 核心机制是在扩散过程中使用可训练嵌入层,将离散数学符号映射到连续潜在空间,以建模方程分布;通过 cross-attention 注入数值数据,使初始噪声序列逐步转化为符号方程。推理阶段进一步将 logit 先验注入遗传编程,以增强扩散式方程生成器的准确性。摘要未说明预训练数据构造、目标函数、符号词表、数值编码方式或先验与遗传操作的具体结合规则,这些实现条件尚未验证。 作者报告,在标准符号回归基准上,DiffuSR 与最先进的自回归方法具有竞争力,并生成更可解释、更多样的数学表达式。摘要未提供基准名称、数据划分、对照方法、指标或具体数值,因此不能据此判断性能差异幅度,也不能将其表述为全面优于自回归方法。表达式复杂度、可解释性与多样性的评估定义,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务能够构造数值特征与目标变量的配对样本,DiffuSR 或可用于探索可解释的特征关系,而非直接作为原始 EEG 解码器。可复用部分是数据条件化的表达式生成与遗传搜索;需要改造数值输入、允许的运算符及复杂度约束。低信噪比、跨被试差异和小样本可能使搜索得到不稳定或伪相关表达式。一个可检验的小实验是在固定 EEG 特征及按被试隔离的划分下,对照常规遗传编程,比较留出被试上的预测误差、表达式复杂度与重复运行稳定性;原领域结果不构成 BCI 有效性的证据,已有 EEG 相关工作尚未检索确认。
值得阅读的是 DiffuSR 将连续状态扩散生成与符号回归结合,并用 logit 先验引导遗传编程的具体机制;其可解释性、多样性及性能优势仍需结合全文实验协议核对。
来源:OpenReview · State space models · openreview.net