跳到正文
OpenReview · Representation learning· Hugo Thimonier; José Lucas De Melo Costa; Fabrice Popineau; Arpad Rimmel; Bich-Liên DOAN·· 2025-01-23精选AI 评分74

T-JEPA:面向表格数据的无数据增强自监督学习

T-JEPA: Augmentation-Free Self-Supervised Learning for Tabular Data

AI 导读

基于摘要分析。该研究针对表格数据难以构造有效数据增强的问题,提出无数据增强的自监督方法 T-JEPA,通过同一样本内不同特征子集之间的潜在表示预测学习表征,用于下游分类与回归任务。 核心机制基于 Joint Embedding Predictive Architecture(JEPA),类似于在潜在空间进行掩码重建:以一个特征子集的潜在表示预测另一个特征子集的潜在表示,而非直接重建原始特征值。研究将所得表示用于预训练后的下游建模,并引入 regularization tokens;作者称其对结构化数据上 JEPA 模型的训练至关重要。具体损失、子集采样方式及正则化实现尚未验证。 作者报告,在其分类与回归评估中,使用 T-JEPA 表示的模型优于直接使用原始数据训练的模型,部分方法可持续优于或持平 Gradient Boosted Decision Trees。作者还报告,表征分析显示 T-JEPA 能在不使用标签的情况下识别下游任务相关特征。摘要未提供数据集、数据划分、指标数值与具体基线配置,实验协议、消融及统计信息尚未验证,不能据此判断收益幅度或跨数据集稳定性。 平台推测(待验证):其潜在空间特征子集预测机制或可用于 EEG 提取特征后的表格表示,以探索不依赖人工信号增强的预训练,但这不等于已验证的 EEG 或 BCI 方法。原方法依赖同一样本内特征间的可预测关系;迁移时需重新定义通道、频带等特征分组及掩码方式,低信噪比、跨被试分布差异和小数据可能使模型主要学习伪迹或被试身份。可在固定 Cross-subject 划分下,仅用训练被试预训练,比较相同下游分类器使用原始特征与 T-JEPA 表示的表现,并消融 regularization tokens。已有相关 EEG 工作尚未检索确认。

阅读价值

值得关注其通过同一样本内特征子集的潜在表示预测实现无数据增强预训练,以及 regularization tokens 对结构化数据上 JEPA 训练的作用;具体收益与 EEG 迁移价值仍需验证。

来源:OpenReview · Representation learning · openreview.net