跳到正文
arXiv · 学习目标与优化· Mohammad Sadeq Abolhasani; Viswanath Ganapathy·· 4 天前精选AI 评分75

通过学习潜在多表表示迈向先验数据拟合关系模型

Path to Prior-Data Fitted Relational Models via Learned Latent Multi-table Representations

AI 导读

基于摘要分析。本文研究 PFN 式合成任务预训练能否从 Transformer 关系模型扩展至基于消息传递的图关系模型,并检验课程学习对其表示质量的作用。作者在大量合成关系数据库上预训练 Griffin,将编码器产生的潜在表示输入冻结的上下文预测器;目标任务上不训练任何组件。 核心机制是将关系表示学习与下游预测解耦:预训练阶段学习多表关系表示,下游依赖冻结预测器使用这些表示,而不是针对目标任务微调。摘要中的预测器名称以 LaTeX 宏形式呈现,具体实现尚未验证。课程按数据生成方式排序,先使用 schema-guided 数据,再使用 schema-agnostic 数据;其具体生成过程、训练目标与计算规模尚未验证。 作者报告,在 16 个真实世界关系分类任务、五个随机种子的评估中,相对于原始特征和未训练编码器基线,上述纯合成课程取得最强的冻结上下文预测表现,并优于仅真实数据预训练及各类无序单阶段语料混合方案;作者还报告,在真实数据预训练后追加该合成课程,得到整体表现最佳的编码器。摘要未给出具体指标、提升幅度、任务划分或不确定性估计,因此不能量化优势,也不能确认各比较的统计稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务可明确组织为被试、会话、试次等关联表,该路线可能用于检验关系结构预训练能否改善小样本表示,但它并非直接面向 EEG 波形的方法。可复用的是合成任务课程与冻结编码器评估框架,需改造信号特征接口、关系模式及合成数据生成机制;低信噪比、通道差异和跨被试分布变化可能使合成关系先验失效。一个可证伪的小实验是在固定 Cross-subject 划分和相同预测器下,对比未训练编码器、无序合成预训练及有序课程预训练,检查课程收益是否可重复。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将合成数据库课程预训练、消息传递编码器与冻结上下文预测器结合的验证路径,但其优势目前仅由摘要中的关系分类实验支持,尚不能推及 EEG/BCI。

来源:arXiv · 学习目标与优化 · arxiv.org