对比符号回归:对齐表征、自适应预测与多样化集成
Contrastive Symbolic Regression: Aligned Representations, Adaptive Prediction, and Diverse Ensembles
基于摘要分析。本文研究通用符号回归,针对现有方法侧重显式输入—输出映射、较少利用样本间关系的问题,提出 Contrastive Symbolic Regression(CSR),将进化式特征构造与对比学习结合,使表征空间中的几何邻近关系反映目标值的相似性。 机制上,CSR通过对比目标优化构造特征的线性变换,并给出用于特征空间与目标空间对齐的闭式解;随后以构造特征进行 K-nearest neighbor regression。作者提出高效的留一交叉验证(LOOCV)方法,以降低标准 LOOCV 的计算开销并自适应选择邻域大小,同时采用线性秩加权近邻变体,在进化过程中评估表征质量。集成阶段使用基于 determinantal point process 的选择机制,同时考虑模型质量与多样性。具体目标函数、闭式解成立条件、进化搜索配置及计算复杂度尚未验证。 作者报告,在58个真实世界回归数据集的实验中,CSR持续优于传统符号回归和现代机器学习对照方法。摘要未提供数据集名称、具体基线、划分协议、指标或提升幅度,实验协议、消融及统计信息尚未验证。还需核对最终预测器与符号特征各自的可解释性,以及近邻预测和集成带来的推理开销。 平台推测(待验证):其机制可能用于连续 EEG 目标回归中的特征构造与距离学习,但这依赖有监督目标值及有意义的样本邻域,不能直接推及 MI、SSVEP 等分类任务。可复用线性对齐和近邻选择思路;需改造 EEG 输入特征、搜索算子与被试隔离的验证流程。低信噪比、小样本及跨被试分布差异可能使目标相似性无法形成稳定邻域。一个可证伪的小实验是在固定 EEG 特征和同一跨被试划分下,对比加入与不加入 CSR 对齐的近邻回归,仅在训练被试内选择超参数,检验测试误差是否稳定下降。已有 EEG 相关工作尚未检索确认。
值得核对其闭式表征对齐、自适应近邻预测与多样性集成如何协同改善符号回归,尤其是进化过程中表征质量评估的有效性;摘要所述优势仍需结合完整实验协议验证。
来源:OpenReview · Representation learning · openreview.net