跳到正文
OpenReview · State space models· Nan Xu; Fei Wang; Mingtao Dong; Muhao Chen·· 2023-10-08精选AI 评分75

稠密检索作为大空间决策的间接监督

Dense Retrieval as Indirect Supervision for Large-space Decision Making

AI 导读

基于摘要分析。本文研究自然语言理解(NLU)中标签空间庞大、每个标签训练样本不足且细粒度标签难以区分的问题,提出 Dense Decision Retrieval(DDR),将判别任务重构为学习检索任务,而非直接输出细粒度决策的 logits。 核心机制是采用双编码器架构,从决策词库(decision thesaurus)中检索预测结果。该设计借鉴开放域 QA 的篇章稠密检索,利用稠密检索学习资源提供间接监督,并以具有语义意义的表示组织决策空间。作者认为这有助于提升预测泛化能力;具体监督资源、决策词库构建、损失函数、负样本策略及训练与推理流程尚未验证。 在决策空间从数百到十万量级的任务上,作者报告相对强基线的提升:两个极端多标签分类任务的 P@1 为 27.54%,超细粒度实体类型识别的 F1 为 1.17%,三个少样本意图分类任务的 Accuracy 平均为 1.26%。摘要未明确这些提升是相对百分比还是百分点,因此保留原文表述,不能进一步换算。数据集名称、基线构成、数据划分、少样本设置、消融及统计信息尚未验证,不宜跨任务直接比较提升幅度。 平台推测(待验证):若 EEG 任务具有语义明确的大规模候选决策及配对监督,DDR 的决策语义编码与检索框架可能用于缓解稀有标签样本不足;但需将文本输入编码器改造为 EEG 编码器,并建立信号与决策描述之间的对齐。该假设不直接适用于标签很少的常规 MI 或 SSVEP 分类。低信噪比、跨被试和通道差异、小数据规模,以及不同语义标签缺乏可区分的 EEG 表征,都可能导致失败。可在已有带语义标签的 EEG 数据上固定跨被试划分,对比直接分类与决策描述检索,并检查稀有标签表现及打乱描述后的性能变化;这仅是可证伪的小实验建议,不是本文已验证结果。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是 DDR 将大标签空间分类重构为语义决策检索,并利用检索资源提供间接监督的机制;其对 EEG/BCI 的价值仍取决于任务是否具备可描述的大规模标签空间,尚未验证。

来源:OpenReview · State space models · openreview.net