跳到正文
OpenReview · State space models· Gaurav Bhatt; Shivam Sharma; Balasubramanian Raman·· 2018-01-01精选AI 评分72

用于社区问答的注意力循环张量模型

Attentive Recurrent Tensor Model for Community Question Answering

AI 导读

基于摘要分析。本文研究社区问答中句子表示之间的词汇与语义鸿沟,提出 attentive recurrent tensor network,通过 token-level 和 phrase-level 注意力,以及问题、答案、外部特征之间的三方张量交互建模问答匹配。其主要研究对象是自然语言问答,而非 EEG 或 BCI。 机制上,作者使用可训练参数建立输入序列到输出的注意力映射,并在向量空间中引入问题、答案与外部特征的三方交互。作者还提出简化张量矩阵并施加 L2 正则化,称其可使训练优化更平滑。摘要未给出循环单元类型、张量分解形式、外部特征来源、具体损失函数或训练配置,这些细节尚未验证。 结果方面,作者报告在 TrecQA 与 WikiQA 的 answer sentence selection 任务上达到当时的最先进性能,并在 Yahoo! L4 的 best answer selection 和 WikiQA 的 answer triggering 任务上超过当时的最先进方法。摘要未提供具体指标、数值、数据划分及基线配置,不能据此比较优势幅度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是多粒度注意力与三方特征交互,而不是问答任务本身。假设 EEG 分类需要联合利用不同时间粒度的表征和辅助信息,可探索将问题与答案表示替换为同一 EEG 样本的两类时序表征,并将外部特征替换为推理时可获得的辅助特征。原方法依赖文本序列、问答任务监督和外部特征;迁移时需改造输入编码、时间粒度、监督目标及辅助特征定义。低信噪比可能使注意力追踪伪迹,被试和通道差异可能破坏交互关系,小数据下张量参数可能过拟合。 一个可检验的小实验是:在固定 Cross-subject 划分、相同 EEG 编码器与训练预算下,对比简单特征拼接、多粒度注意力及加入三方张量交互的模型,检验交互模块是否带来稳定增益。该方案仅为机制迁移假设,不代表已证实的 BCI 效果;已有 EEG 相关工作尚未检索确认。复现原论文仍需取得全文以核对特征构造、数据处理、评估协议及实现条件。

阅读价值

值得阅读的是其以 token-level、phrase-level 注意力与三方张量交互联合建模问答匹配的机制,但性能优势及其向 EEG 任务迁移的可行性仍需核对全文和独立验证。

来源:OpenReview · State space models · openreview.net