面向检索与检索增强生成的长文档表示:以表示为先、关注蒸馏的综述
Long-Document Representation for Retrieval and Retrieval-Augmented Generation: A Representation-First, Distillation-Aware Survey
基于摘要分析。本文研究长文档如何被编码为可复用、可索引的结构,以支持检索与检索增强生成(RAG),主要贡献是建立以表示为先的分类体系,并综合讨论监督、合成数据与蒸馏的作用。 原论文的主要对象是文本检索,而非 EEG 或 BCI。其问题出发点是:长文档中的相关证据可能局部集中、跨章节分散、随查询变化、涉及多语言,或依赖远距离段落之间的关系。截断可能丢失证据,固定大小分块则可能破坏证据所依赖的结构;因此,增加上下文窗口并不等同于解决长文档表示问题。 综述区分嵌入、表示与检索系统,覆盖单向量、分块、上下文化、层次化、多向量、学习式稀疏、混合、长上下文,以及基于摘要或图的表示路线。作者还指出,蒸馏已是现代短文本嵌入流程的重要组成部分,但在长文档场景仍发展不足;摘要未说明具体蒸馏目标、教师与学生配置或监督构造,不能据此还原训练方案。 作者报告,在所考察的基准、领域和部署场景中,没有一种表示家族能同时在质量、忠实性、延迟、成本和索引大小上全面占优,并主张依据证据分布模式选择表示,而非仅依赖更大上下文窗口、榜单成绩或分块后池化流程。摘要未列出纳入基准、量化结果及文献筛选方法,比较范围、实验协议与统计依据尚未验证。材料未提供对应 EEG 信号表示的具体机制路径,因此不将其结论外推为 BCI 算法有效性,也不提出信号建模迁移实验。
值得阅读之处在于以证据分布和可索引结构组织长文档检索方法,并梳理蒸馏的适用边界,为核对 RAG 系统的表示选择与部署权衡提供框架,但具体比较依据尚需全文验证。
来源:OpenReview · Representation learning · openreview.net