RECAST:利用基础模型进行残差状态表示学习,实现轻量级表格预测
RECAST: RESIDUAL-STATE REPRESENTATION LEARNING WITH FOUNDATION MODELS FOR LIGHTWEIGHT TABULAR PREDICTION
基于摘要分析。RECAST 针对表格预测模型在特征空间局部区域出现系统性误差的问题,通过学习残差状态表示来改进已有预测器,而非仅从原始特征重新学习残差。其核心贡献是将基础模型用于训练阶段的误差建模与知识迁移,最终部署只依赖原始输入的单个 XGBoost 学生模型。 机制上,每轮纠正将 XGBoost 的折外预测误差划分为三种状态;LLM 根据特征语义与聚合误差统计选择特征子集,并提出用于指导上下文示例选择的聚焦条件。表格基础模型(TFM)为新输入估计残差状态表示,教师模型将这些表示与原始特征结合,预测残差修正量;每轮后更新残差状态与上下文。随后,将教师的折外预测与真实标签混合,用于训练仅接收原始特征的 XGBoost 学生。三种状态的具体定义、教师结构、标签混合规则及训练超参数尚未验证。 作者报告,在 OpenML 的九个回归数据集与九个二分类数据集上,RECAST 在十个比较模型中取得最佳平均排名:回归为 4.11、分类为 3.00、总体为 3.56;这些数值是排名,不是 Accuracy 或误差分数。作者报告,在全部 18 个数据集上,RECAST 均改善了基线 XGBoost 的三随机种子平均性能;受控比较中,其任务级平均性能也优于不使用状态表示的残差重学,以及直接蒸馏 TFM 原始目标预测。具体指标、划分、性能增幅、统计显著性、消融及训练开销尚未验证,不能据此量化部署收益。 平台推测(待验证):若 EEG 任务已经转换为具有明确语义的表格特征,残差状态建模可能用于纠正既有分类器的局部误差;可复用训练期教师与轻量学生的分工,但需改造特征语义描述、上下文选择和数据划分。低信噪比、跨被试差异、通道变化及小样本可能使残差状态估计不稳定。一个可证伪的小实验是在固定跨被试划分的 EEG 特征表上,对比原始 XGBoost、直接残差重学与 RECAST,并保持折外预测仅在训练数据内部生成。相关 EEG 工作尚未检索确认,原文的表格结果不构成 BCI 有效性证据。
值得核对其残差状态表示与训练期基础模型辅助机制:作者报告该机制优于直接残差重学和直接蒸馏,同时保留仅使用原始特征的 XGBoost 推理路径,但 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net