跳到正文
OpenReview · State space models· Gaurav Bhatt; Shivam Sharma; Balasubramanian Raman·· 2018-01-01精选AI 评分72

用于社区问答的注意力循环张量模型

Attentive Recurrent Tensor Model for Community Question Answering

AI 导读

基于摘要分析。该研究针对社区问答中句子表示之间的词汇与语义鸿沟,提出 attentive recurrent tensor network,通过多粒度注意力与张量交互建模问题、答案及外部特征之间的关系。其主要研究对象是自然语言问答,而非 EEG 或 BCI。 机制方面,模型引入 token 级和短语级注意力,使用可训练参数将输入序列映射到输出;张量参数用于在向量空间中建立问题、答案和外部特征的三方交互。作者还提出配合 L2 正则化的简化张量矩阵,并称其使训练优化更平滑。摘要未说明循环结构、注意力计算形式、外部特征内容、张量简化方式及任务损失,这些细节尚未验证。 结果方面,作者报告:在 TrecQA 和 WikiQA 的 answer sentence selection 任务上达到当时的 state-of-the-art 水平,在 Yahoo! L4 的 best answer selection 任务及 WikiQA 的 answer triggering 任务上超过当时的 state-of-the-art。摘要未提供具体指标、数值、数据划分或对照模型,因此不能据此量化收益,也不能将不同任务的表现直接比较。实验协议、消融及统计信息尚未验证。 复现时需从全文核对外部特征的构造与使用方式、多粒度注意力及张量简化的实现,以及各任务的评估协议。现有材料没有提供与神经信号处理的具体对应关系,不据此推断 EEG/BCI 有效性;相关 EEG 工作尚未检索确认。

阅读价值

该研究值得阅读之处是将 token 级与短语级注意力结合问题、答案及外部特征的三方张量交互,可用于核对多粒度表示与特征交互在社区问答中的作用,但具体实验协议与性能优势尚未验证。

来源:OpenReview · State space models · openreview.net