用于科学文档表示的非对称文档内预测学习
Asymmetric Within-Document Predictive Learning for Scientific Document Representation
基于摘要分析。本文研究如何利用科学论文的篇章结构进行预测式预训练,提出不依赖引文的 SciJEPA:以标题和摘要表示预测方法部分表示,再以方法部分表示预测结论部分表示。主要研究对象是科学文档表示与检索,而非 EEG 或 BCI 信号建模。 核心机制是利用文档内部不同章节之间具有方向性的语义关系构造学习目标。作者将预测式训练与使用相同章节配对的受控对比学习基线比较,并引入 Sliced Isotropic Gaussian Regularization(SIGReg)调节嵌入几何。摘要未给出具体预测损失、编码器结构、分支参数共享方式或训练规模。 作者报告,在 RELISH、high-influence citation、SciDocs 和 cite prediction 的评估中,单纯预测式训练具有可行性,但弱于上述对比学习基线;加入 SIGReg 后性能明显改善,与基线的差距缩小。作者报告,正则化效果依赖任务:适度 SIGReg 有利于细粒度排序,较强正则化则可能削弱局部对齐;不同编码分支也适用于不同检索情形。这些结果不等于预测式方法整体优于对比学习。 摘要未提供具体指标、数据划分、性能数值及统计不确定性,实验协议、消融及统计信息尚未验证。复现时需核对章节抽取与配对规则、SIGReg 强度、检索时的编码分支选择,以及对比基线的控制条件。当前材料支持将其视为科学文档表示的一种无引文补充路线,不支持推断其对 EEG/BCI 的有效性。
值得阅读之处在于用相同章节配对比较预测式与对比式训练,并分析 SIGReg 强度对细粒度排序和局部对齐的不同影响,为无引文科学文档表示提供可核对的机制线索。
来源:OpenReview · Representation learning · openreview.net