OpenReview · Representation learning· Bishal Santra; Sumegh Roychowdhury; Aishik Mandal; Vasu Gurram; Atharva Naik; Manish Gupta; Pawan Goyal·· 2022-01-01精选AI 评分75
通过最大化话语互信息进行对话数据表征学习
Representation Learning for Conversational Data using Discourse Mutual Information Maximization
AI 导读
基于摘要分析。本文研究面向对话理解的表征学习,提出结构感知的 Discourse Mutual Information(DMI,话语互信息)损失,旨在利用对话文本的结构信息,并捕捉回复预测中固有的不确定性。研究对象是文本对话,而非 EEG 或 BCI。 作者认为,基于 BERT、GPT-2 等通用文本模型微调的表征,其语言建模预训练目标未充分考虑对话结构;生成式对话模型虽能学习部分结构特征,但逐词生成目标未必适合形成有效的对话表征。DMI 的主要思路是以结构感知的互信息目标训练对话表征模型。摘要未给出互信息的具体定义、估计方式、样本构造及不确定性的建模形式,这些机制细节尚未验证。 作者报告,在九项不同的对话建模任务上,DMI 模型相较强基线取得显著优势,并报告既有表征在不同对话理解任务上的表现不一致。摘要未列出任务名称、数据集、划分、评价指标、具体分数或显著性检验方法,因此无法判断收益分布及适用边界;实验协议、消融及统计信息尚未验证。 该方法依赖对话结构,但摘要不足以确认这种结构如何进入训练目标,也未建立其与 EEG 瓶颈的具体机制对应,暂不据此提出 BCI 迁移实验方案。已有 EEG 相关工作尚未检索确认。
阅读价值
值得关注 DMI 如何利用对话结构及回复预测的不确定性构造表征学习目标;作者报告了九项对话任务上的基线优势,但其具体实现、评估协议及对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net