跳到正文
OpenReview · Representation learning· Kyungeun Lee; Ye Seul Sim; Hyeseung Cho; Suhee Yoon; Sanghyu Yoon; Woohyung Lim·· 2023-10-28精选AI 评分74

以分箱作为前置任务:改进表格领域的自监督学习

Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains

AI 导读

基于摘要分析。本文研究表格数据中类别与数值特征异质、依赖关系可能呈分段常数等不规则形式时的自监督表征学习,提出以重建分箱索引(顺序或类别)替代重建原始特征值的前置任务。核心贡献是将分箱引入预测目标,为编码器提供学习离散化依赖关系的归纳偏置,并将不同特征的目标统一为类别类型。 机制上,输入仍可包含连续数值,但预测目标转为其所属分箱。作者认为,这既能将同一特征内的相近值归组,也能提供顺序信息,并使各特征对应的目标集合得到标准化。摘要还称该任务可与不同编码器架构及额外改动兼容;分箱边界如何确定、类别特征如何处理、顺序信息如何编码,以及具体损失与训练流程尚未验证。 作者报告,在多种表格数据集和多类下游任务的评估中,该方法持续改善了表征学习表现。摘要未提供数据集名称、划分、对照基线或指标数值,因此无法判断收益幅度及适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 的频带功率等连续统计量构造成表格特征,该机制可能用于缓解不同特征尺度和类型造成的预训练目标异质性,但这是假设,不是已验证的 EEG/BCI 效果。可复用分箱目标与表格编码器,需适配跨被试特征分布,并仅用训练划分估计分箱边界。低信噪比可能导致边界附近目标不稳定,分箱也可能抹去细微判别信息;小数据下边界估计及跨被试分布偏移均是失败风险。一个可检验的小实验是在固定 EEG 表格特征、编码器和跨被试划分下,对比原值重建与分箱索引重建,并检验分箱粒度的影响。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是,以重建分箱索引替代原值重建,能否通过统一异质特征的预测目标改善表格自监督表征;摘要报告了多类下游任务的收益,但具体协议与效果尚未验证。

来源:OpenReview · Representation learning · openreview.net