FlexVDR:学习分配用于视觉文档检索的 Matryoshka 表示预算
FlexVDR: Learning to Allocate Matryoshka Representation Budgets for Visual Document Retrieval
基于摘要分析。本文研究视觉文档检索中多向量表示的编码与匹配成本问题,提出 FlexVDR,在单一检索器内根据查询自适应分配计算预算。其核心贡献不是仅提供多个压缩配置,而是在执行完整计算之前估计各配置的检索价值,并结合可配置的资源偏好选择路径。 机制上,FlexVDR 沿编码器深度、嵌入宽度和 token 数量构建联合路径族,通过检索监督与蒸馏训练紧凑路径,同时使用原生旁路保留全预算参考路径。Budget Allocator 从早期查询特征预测各路径的检索效用,再结合资源偏好作出选择。摘要未披露效用预测的监督构造、具体损失形式、路径组合方式,以及资源成本是否包含分配器自身开销,这些内容尚未验证。 作者报告,在 ViDoRe V1、V2 和 V3 public 上、覆盖五种骨干模型的实验中,FlexVDR 为各查询选择紧凑路径时仍保留了较多原生检索质量;同一检索器可通过调整资源偏好改变计算量,无须重新训练或切换模型。摘要未给出具体检索指标、计算节省数值及数据划分,不能据此量化收益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移的机制是“利用早期特征估计追加计算的任务收益”,可能用于探索 EEG 解码中的按试次计算预算分配,但原文研究对象是视觉文档检索,尚无 EEG/BCI 有效性证据。该假设依赖可共享的多预算路径及足以监督效用预测的数据;迁移时需重构信号编码器、任务监督和成本模型。低信噪比可能使早期特征无法可靠判断试次难度,跨被试差异及小数据也可能造成预算选择失准。可检验的小实验是在固定 EEG 任务与被试内划分下,对比自适应路径和匹配平均计算预算的固定路径,联合考察任务指标、实际延迟与分配器开销;通道变化和跨被试泛化应另行验证。已有 EEG 相关工作尚未检索确认。
值得关注其如何利用早期查询特征预测不同计算路径的检索效用,将弹性表示转化为可配置的逐查询预算决策,但具体质量—计算开销权衡仍需全文验证。
来源:OpenReview · Representation learning · openreview.net