跳到正文
OpenReview · Representation learning· Yubo Feng; Lishuang Li; Yi Xiang; Xueyang Qin·· 2023-01-01精选AI 评分70

PromptCL:通过 Prompt 模板与对比学习改进事件表征

PromptCL: Improving Event Representation via Prompt Template and Contrastive Learning

AI 导读

基于摘要分析。本文研究 NLP 中短事件文本的表征学习:作者认为,事件文本与预训练语言模型(PLMs)预训练文本之间的长度分布差异,可能限制对比学习的效果,并提出 PromptCL,通过 Prompt 模板扩展输入并显式组织事件成分,以改善事件语义表征。 机制上,PromptCL 在对比学习过程中引入结构化 Prompt 模板,为短事件文本提供事件成分的组织框架;同时采用 Subject-Predicate-Object(SPO,主语—谓语—宾语)词序与 Event-oriented Masked Language Modeling(EventMLM,面向事件的掩码语言建模),训练 PLMs 理解事件成分之间的关系。摘要未说明模板具体内容、对比样本构造、损失组合、掩码策略或所用 PLMs,相关实现细节尚未验证。 作者报告,PromptCL 在事件相关任务上优于所比较的先进基线,并通过分析认为 Prompt 可改善事件表征的泛化能力;但摘要未提供任务名称、数据集、划分协议、指标或具体数值,无法据此评估提升幅度及不同设置下的稳定性。实验协议、消融及统计信息尚未验证。复现时需重点核对模板扩展、SPO 词序和 EventMLM 的独立贡献,以及长度变化与结构信息的作用是否得到区分。摘要表示代码将公开,当前可用性尚未验证。 平台推测(待验证):该方法依赖文本输入、事件成分结构及 PLMs 的语言预训练知识,并非直接面向 EEG。若 EEG 任务已有可靠的试次描述或事件语义标注,可假设其文本端表征有助于处理短描述,但信号编码与跨模态对齐需另行设计;低信噪比、跨被试差异、通道变化及小样本可能使文本先验无法对应真实神经信号。一个可证伪的小实验是在同一 EEG—文本配对数据及固定跨被试划分下,比较原始短描述与结构化模板描述,仅改变文本端输入并检查性能是否稳定改善。已有 EEG 相关工作尚未检索确认,原文结果不构成 BCI 有效性的证据。

阅读价值

值得核对 Prompt 模板扩展短事件文本与 SPO、EventMLM 的各自贡献,以判断性能提升来自长度分布匹配还是事件结构建模;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net