自监督跨表表征学习的规模扩展实验

基于摘要分析。本文研究深度表格表征学习的规模扩展潜力，提出面向单表与跨表学习的 Transformer 架构，并通过自监督掩码单元格恢复进行预训练。主要研究对象是通用表格数据，而非 EEG 或 BCI。 机制上，模型使用表特定 tokenizer 处理不同表格，并共享 Transformer 主干；训练任务是通过恢复被掩码的单元格学习缺失值填补与表征。摘要未披露 tokenizer 的具体编码方式、掩码策略、损失形式，以及不同表之间如何处理字段语义和数据类型差异。 作者报告，在单表与跨表预训练设置下，训练了参数量约为 10^4 至 10^7 的不同规模模型；预训练数据包含来自 76 个不同数据集的 135M 个训练 token。评估采用精选基准数据集上的线性探测，并与常规基线比较。摘要没有给出具体基准名称、划分协议、指标或性能数值，因此尚不能判断增大模型或跨表预训练是否带来稳定收益；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将 EEG 预先整理为试次级特征表，可假设用表特定 tokenizer 适配不同数据集的特征字段，并用共享主干学习可迁移表征；这不是直接处理原始 EEG 时序的方法。该路径依赖特征语义、监督目标与跨表共享信息是否兼容，需要改造特征编码和掩码恢复目标。低信噪比、通道及被试差异、小数据规模可能使模型偏向恢复数据集特征而非任务信息。一个可检验的小实验是固定 EEG 特征提取与跨被试划分，比较单表和跨表预训练后的相同线性探测器，并核对共享预训练是否改善目标任务表现。已有 EEG 相关工作尚未检索确认。