TFM-Retouche:面向表格基础模型的轻量级输入空间适配器
TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models
基于摘要分析。本文研究表格基础模型(TFM)在推理时归纳偏置固定、面向具体数据集适配成本较高的问题,提出 TFM-Retouche:不改动冻结骨干内部结构,而在输入空间学习小幅残差修正,使数据更适合预训练模型的归纳偏置。 其核心机制是通过冻结的 TFM 端到端训练输入适配器,并在训练后使用 identity guard:若适配未在留出验证集上带来改善,则回退至未经修改的 TFM。与全量微调或需要适配模型内部架构的 LoRA 相比,作者强调该方法对冻结骨干的架构无关性。摘要未披露残差适配器的具体结构、损失函数及训练资源需求,这些内容尚未验证。 作者报告,在 TabArena-Lite 的 51 个数据集上,任务涵盖二分类、多分类与回归,采用轻量级逐任务调参与集成的 TabICLv2-Retouche 位列该排行榜首位,相较冻结的 TabICLv2 基线,聚合 Elo 提高 56,并处于预测质量分别对训练时间、推理时间的 Pareto 前沿。该结果对应 TabICLv2 实例,不能据此认定对所有列举的 TFM 均有同等收益;具体数据划分、调参与集成预算、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务已被表示为样本×特征的表格,输入空间适配可能用于调整频带功率等特征与冻结 TFM 的匹配关系,但原文并非 EEG/BCI 研究。可复用残差适配及回退思路,需改造特征构建、通道对齐和跨被试验证流程;低信噪比、小样本及被试间分布差异可能使适配器或验证集选择不稳定。一个可证伪的小实验是固定 EEG 表格特征,在严格跨被试划分下比较冻结 TFM 与其 Retouche 版本,并从训练被试中独立留出验证数据执行回退,检验收益能否保留至未见被试。相关 EEG 工作尚未检索确认。
值得核对其输入空间残差适配与验证集回退机制,能否在冻结不同表格基础模型的条件下稳定改善预测质量,同时保持训练及推理成本优势。
来源:OpenReview · State space models · openreview.net