跳到正文
OpenReview · Representation learning· Kyungeun Lee; Ye Seul Sim; Hyeseung Cho; Suhee Yoon; Sanghyu Yoon; Woohyung Lim·· 2023-09-21精选AI 评分76

以分箱作为预文本任务:改进表格领域的自监督学习

Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains

AI 导读

基于摘要分析。该研究面向表格数据中的类别与数值特征异质性,以及分段常数等不规则函数关系的表示学习问题,提出以分箱索引重建替代原始数值重建的自监督预文本任务。 核心机制是将连续特征映射至离散分箱,让模型重建分箱索引(序位或类别),从而把各特征的预测目标统一为类别类型。作者认为,这种目标为编码器引入捕捉不规则依赖的归纳偏置,并通过同一特征内相近数值的归组、特征集合的标准化及顺序信息辅助表示学习。摘要还强调该任务与编码器架构及其他改进的兼容性,但未给出具体分箱策略、损失形式或网络结构。 作者报告,在多种表格数据集和下游任务的评估中,该方法持续改善表示学习性能;摘要未列出数据集名称、划分协议、基线、指标或增益数值,因此尚不能判断收益大小及适用边界。实验协议、消融及统计信息尚未验证。作者称代码位于补充材料,具体实现与复现条件尚未核对。 平台推测(待验证):迁移假设仅适用于 EEG 衍生的表格特征,而非直接证明对原始 EEG 时序有效。可复用分箱目标构造与索引预测机制,但需根据特征分布调整分箱与编码器;低信噪比、跨被试分布偏移及小样本可能导致分箱边界不稳定或丢失细粒度判别信息。一个可证伪的小实验是在固定 EEG 特征、相同编码器及训练预算下,对比原值重建与分箱索引重建,分箱边界仅由训练集估计,并在相同跨被试划分下评估下游分类表现及对分箱设置的敏感性。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以分箱索引重建统一异构特征自监督目标的机制;对表格表示学习的增益由作者报告,能否用于 EEG 衍生特征仍待验证。

来源:OpenReview · Representation learning · openreview.net