跳到正文
OpenReview · State space models· Felix Koch; Marcel Wever; Fabian Raisch; Benjamin Tischler·· 2025-06-10AI 评分64

用于表格先验数据拟合网络的状态空间模型

State-Space Models for Tabular Prior-Data Fitted Networks

AI 导读

基于摘要分析。本文研究表格基础模型 TabPFN 中 Transformer 的替代架构,探索用双向线性时间结构化状态空间模型 Hydra 降低序列建模复杂度,同时缓解 SSM 对输入顺序的敏感性。主要研究对象是表格数据预测,并非 EEG 或 BCI。 机制与贡献:摘要指出,预训练 Transformer 架构可以近似贝叶斯推断,但其计算复杂度随序列长度呈二次增长。Hydra 提供线性时间的序列建模路径,不过表格数据的行顺序通常没有语义,SSM 的顺序敏感性因而可能成为不合适的归纳偏置。本文考察双向处理能否支持对称的上下文聚合,并保留效率优势;双向性本身不等同于严格的排列不变性。 结果与证据边界:作者报告,在摘要所述实验中,该方法降低了顺序依赖,预测性能可与原始 TabPFN 竞争。摘要未给出数据集、任务类型、划分、指标或具体分数,也未提供运行时间与内存测量,因此不能量化性能差异或实际加速幅度。预训练数据与规模、训练目标、架构替换细节、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 试次表示为固定维度的特征表格,且上下文样本的行顺序没有任务含义,这一机制可能用于检验表格预测中的计算开销与顺序鲁棒性,而不能直接据此声称可有效建模原始 EEG 时序。可考虑复用 Hydra 的双向聚合,需改造 EEG 特征表示、标签组织及上下文构建。低信噪比、跨被试分布差异、通道不一致和小样本可能削弱效果。一个可检验的小实验是在固定的跨被试划分下,对同一上下文重复随机打乱行顺序,比较 Hydra 替代模型与原始 TabPFN 的预测波动、同一任务指标及推理资源消耗;预训练与适配流程须固定,且不得使用测试标签构建上下文。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net