OpenReview · State space models· Peng Xu; Hamidreza Saghir; Jin Sung Kang; Teng Long; Avishek Joey Bose; Yanshuai Cao; Jackie Chi Kit Cheung·· 2019-01-01精选AI 评分74
跨域可迁移的神经文本连贯性模型
A Cross-Domain Transferable Neural Coherence Model
AI 导读
基于摘要分析。本文研究文本连贯性评估中的跨域泛化问题:在一种文本领域训练的模型,往往难以泛化到未见文本类别。作者提出局部判别式神经模型,通过缩小错误句子排序的负采样空间,更高效地学习区分连贯与不连贯的文本排列。 核心机制与对照:摘要指出,既有工作倾向于使用生成式模型实现跨域泛化,因为判别式模型需要面对的非连贯句子排列空间过大。本文仍采用判别式建模,但以局部建模和更小的负采样空间缓解这一问题。具体局部单元、负样本构造、损失函数及模型结构尚未验证,不能据摘要确定其实现方式。 结果与评估背景:作者报告,该模型在 Wall Street Journal 语料的标准基准,以及 Wikipedia 文章中迁移到未见篇章类别的多个挑战性设置下,显著优于此前最先进方法。摘要未提供指标、数值、具体对照方法、数据划分或显著性检验细节;实验协议、消融及统计信息尚未验证,也无法判断不同迁移设置的难度与结果可比性。 适用边界:论文的主要研究对象是文本句子排序与篇章连贯性,而非神经信号解码。文本中的错误排序负样本依赖句子及篇章结构,不能直接等同于 EEG 时间片段的有效负样本。当前材料不足以建立具体的 EEG/BCI 迁移路径;相关 EEG 工作尚未检索确认。复现前需取得全文,核对负采样规则、跨域训练与测试划分、基线实现及评估指标。
阅读价值
值得核对其如何通过局部判别与缩小负采样空间改善文本连贯性模型的跨域泛化,但摘要不足以确认具体采样机制及其对 EEG/BCI 的适用性。
来源:OpenReview · State space models · openreview.net