跳到正文
OpenReview · Representation learning· Simone Luetto; Fabrizio Garuti; Enver Sangineto; Lorenzo Forni; Rita Cucchiara·· 2025-06-01精选AI 评分74

面向所有时间序列的统一 Transformer:时间依赖异构表格数据的表示与训练

One transformer for all time series: representing and training with time-dependent heterogeneous tabular data

AI 导读

基于摘要分析。本文研究具有时间依赖的异构表格数据,例如同时包含数值与类别字段的金融交易记录,提出 Transformer 架构 UniTTab,以统一表示和训练方式处理混合类型数据及内部结构可变的记录。其主要研究对象是时间依赖表格数据,而非 EEG 或 BCI。 机制上,UniTTab 将数值特征和类别特征均表示为连续嵌入向量,并使用单一 Masked Token 前置任务训练,区别于分别针对数值与类别目标组合不同损失的常见方式。它还支持单条记录具有可变内部结构和可变字段数量的时间序列。摘要未说明数值嵌入、掩码目标构造、时间编码及变长字段处理的具体实现,尚不能据此确定其损失形式或输入组织细节。 作者报告,在五个规模和复杂度不同的数据集、多个下游任务上,UniTTab 相较深度学习及传统机器学习方法持续且显著提高预测准确性。摘要未提供数据集名称、划分协议、具体指标数值、基线配置及显著性检验信息,实验协议、消融及统计信息尚未验证。作者提供了代码和模型链接,但可用性、模型内容及复现条件尚未核验。 平台推测(待验证):可迁移的机制假设是,将 EEG 衍生数值特征与类别元数据统一编码,并处理记录间字段不齐的问题,而非直接将其视为原始 EEG 波形模型。可复用候选包括混合字段嵌入和掩码预训练;需改造 EEG 时间窗组织、通道身份及缺失字段表示。低信噪比、跨被试分布变化、通道配置差异和小数据规模均可能使表格表示优势失效。可在固定跨被试划分下,以相同 EEG 特征和元数据比较统一掩码预训练与从头训练,并测试字段缺失时的性能变化,以检验预训练收益。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 UniTTab 如何以连续嵌入和单一 Masked Token 预训练任务统一处理数值、类别及变长字段;作者报告了多数据集收益,但其对 EEG 异构记录的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net