PaperLM:用于层级化试卷表征学习的预训练模型
PaperLM: A Pre-trained Model for Hierarchical Examination Paper Representation Learning
基于摘要分析。本文研究在线教育中的整体试卷表征学习,提出 PaperLM,将试题文本与试卷层级组织结构纳入统一预训练框架,用于试卷难度估计、试卷检索和试卷聚类,而非 EEG 或 BCI 任务。 核心机制是将 Examination Organization Tree(EOT)的路径转换为嵌入,使表征能够利用题目之间的层级组织信息。作者设计了 EOT Node Relationship Prediction(ENRP)、Question Type Prediction(QTP)和 Paper Contrastive Learning(PCL)三项预训练目标,旨在共同捕捉文本与结构特征。摘要未给出这些目标的具体损失形式、对比样本构造方式及模型架构细节。 作者报告,在真实世界试卷数据集上预训练后,PaperLM 在上述三项下游任务中表现出有效性;摘要未提供数据规模、划分、对照方法或具体指标,因此尚不能量化结构编码和各预训练目标的独立贡献,实验协议、消融及统计信息尚未验证。材料也不足以确认权重、代码及复现所需配置是否公开。 平台推测(待验证):其“显式层级路径编码+关系预测”的思路,可能适用于具有明确试次—时间片段层级的 EEG 表征,但前提是该层级与目标任务相关;试卷文本、题型监督及语义保持的数据增强不能直接移用。可复用候选是路径嵌入和节点关系预测,需改造输入编码、层级定义与对比样本构造。EEG 的低信噪比、跨被试差异、通道配置变化和小样本条件可能使层级表征学习到采集协议而非任务信息。一个可证伪的小实验是在固定 Cross-subject 划分与相同编码器下,对比不含层级、真实层级和打乱层级三种条件,检验真实层级是否带来稳定增益;相关 EEG 工作尚未检索确认。
值得关注其将试卷层级结构编码与文本内容联合预训练的机制,以及三项预训练任务对整体试卷表征的作用,但具体收益和向 EEG 的迁移价值尚未验证。
来源:OpenReview · Representation learning · openreview.net