跳到正文
OpenReview · Representation learning· Woojun Jung; Susik Yoon·· 2025-09-19精选AI 评分75

NAVI:面向可泛化表格表示学习的归纳对齐

NAVI: Inductive Alignment for Generalizable Table Representation Learning

AI 导读

基于摘要分析。该研究面向表格表示学习,试图缓解现有 transformer 模型在域内不同表格间泛化时,模式—取值语义保真与表示稳健性难以兼顾的问题。作者提出 NAVI(Entropy-aware Alignment via Header–Value Induction),通过结构感知掩码建模和熵驱动对齐,联合保持表格表示的一致性与语义保真度。 机制上,NAVI 将表头—取值片段作为表示的基本单元,以顺序无关的方式序列化,并以全局表头嵌入作为锚点。结构感知的掩码片段建模通过对表头、取值和 token 进行平衡掩码,学习模式与取值之间的依赖。熵驱动对齐则将低熵、具有领域一致性的列对齐到全局表头,将高熵、具有实体辨别性的列对齐到行特定取值。摘要未提供熵估计方式、对齐损失的具体形式及各训练目标的权重。 作者报告,在大规模基准的生成式与判别式任务中,NAVI 持续优于基线,并减轻模式层面的不一致性;摘要未列出具体数据集、划分、指标、数值和基线,因而尚不能判断收益幅度或泛化边界。实验协议、消融及统计信息尚未验证。摘要提供了源代码地址,但代码完整性及复现条件尚未核验。 平台推测(待验证):若 EEG 下游输入已被整理为具有稳定特征名的表格,可假设表头—取值建模有助于区分特征语义与样本差异;可复用片段掩码及对齐思路,但需适配通道、频带和单位等元信息,不能直接视为原始 EEG 时序编码方法。低信噪比可能使列熵更多反映噪声,被试差异、通道变化和小样本也可能使熵估计及对齐不稳定。一个可检验的小实验是在固定 EEG 特征与相同跨被试划分下,对比完整熵驱动对齐和移除该机制的版本,并测试通道缺失时的表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其按列熵区分模式一致性与实体辨别信息、联合掩码建模与对齐的机制,但其相对基线的收益及对 EEG 数据的适用性尚待验证。

来源:OpenReview · Representation learning · openreview.net