跳到正文
OpenReview · Representation learning· Bishal Santra; Sumegh Roychowdhury; Aishik Mandal; Vasu Gurram; Atharva Naik; Manish Gupta; Pawan Goyal·· 2021-01-01精选AI 评分75

基于话语互信息最大化的对话数据表征学习

Representation Learning for Conversational Data using Discourse Mutual Information Maximization

AI 导读

基于摘要分析。该研究面向对话理解中的专用表征学习,提出结构感知的 DMI(Discourse Mutual Information,话语互信息)损失,以利用对话结构,并捕捉回复预测中的内在不确定性。作者报告,在九项不同的对话建模任务中,基于 DMI 的模型优于强基线;摘要未提供具体指标、数值或统计检验信息。 研究动机是,基于 BERT、GPT-2 等通用文本模型微调得到的表征,其预训练目标未明确考虑对话结构。作者同时认为,生成式对话模型虽可学习结构特征,但不显式感知结构的逐词生成目标不适合有效的对话建模。作者报告,此类表征在不同对话理解任务上的表现并不一致;这属于本文的经验性结论,不能据此泛化为所有生成式模型均不适用。 方法上的核心区别在于将结构感知的互信息目标用于对话表征训练,而非仅依赖通用语言建模目标。摘要没有给出互信息估计方式、结构单元定义、不确定性的具体建模形式及训练流程,尚不能判断各组成部分对收益的独立贡献。九项任务的名称、数据集、数据划分、基线配置、实验协议、消融及统计信息尚未验证,复现条件也需查阅全文确认。 该论文的主要研究对象是文本对话,并非 EEG 或 BCI。当前材料未建立对话结构与神经信号之间的具体机制对应关系,因此不将其结果解释为已验证的 BCI 方法或性能提升;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将对话结构与回复预测不确定性纳入互信息训练目标的思路,但九项任务上的收益及其来源仍需结合全文中的任务划分、基线和消融核对。

来源:OpenReview · Representation learning · openreview.net