跳到正文
OpenReview · Representation learning· Ramnath Kumar; Anshul Mittal; Nilesh Gupta; Aditya Kusupati; Inderjit S Dhillon; Prateek Jain·· 2023-09-22精选AI 评分76

EHI:面向高效稠密检索的层次索引端到端学习

EHI: End-to-end learning of Hierarchical Index for Efficient Dense Retrieval

AI 导读

基于摘要分析。本文研究语义搜索中的稠密检索,针对双编码器表征学习与近似最近邻搜索(ANNS)索引分别优化、可能相互不适配的问题,提出 End-to-end Hierarchical Indexing(EHI),联合学习嵌入表示与层次索引结构。 机制上,EHI 使用标准双编码器生成查询和文档的嵌入,同时学习倒排文件索引(IVF)风格的树结构。其关键设计是 dense path embedding,用于表示查询或文档在树中的位置,旨在使离散树形 ANNS 结构的学习更稳定、高效。相较于先训练表征、再构建索引的两阶段流程,核心变化是将表示空间与检索结构纳入联合优化;具体损失、树结构参数化和训练流程尚未验证。 作者报告,在相同计算预算下,相对摘要所称的 SOTA,EHI 在 MS MARCO Dev set 上的 MRR@10 提升 0.6%,在 TREC DL19 上的 nDCG@10 提升 4.2%。摘要未明确这些百分比是相对增幅还是绝对差值,因此不能改写为百分点;具体对照方法、计算预算定义、数据划分、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 应用需要对大量信号片段或其嵌入进行相似性检索,联合学习表示与索引可能缓解表征目标和索引路由不匹配的问题,但这并非已验证的 EEG/BCI 效果。可复用部分是双编码器与层次索引的联合优化思路,需改造信号编码器及正负样本监督;低信噪比、跨被试分布变化和小数据可能使路由学习不稳定。一个可证伪的小实验是在固定 EEG 数据划分、编码器和检索计算预算下,对比独立训练后构建 IVF 与联合训练,分别评估检索质量和延迟,并核对跨被试泛化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 EHI 将表征学习与近似最近邻索引联合优化,并以 dense path embedding 支持离散树结构学习;其检索收益及计算预算口径仍需结合全文核对。

来源:OpenReview · Representation learning · openreview.net