跳到正文
OpenReview · Representation learning·· 2026-09-18精选AI 评分76

MORSE:学习分量级残差变换以实现组合式视频检索

MORSE: Learning Component-Wise Residual Transformations for Composed Video Retrieval

AI 导读

基于摘要分析。该研究面向 Composed Video Retrieval(CoVR,组合式视频检索):根据参考视频和描述修改要求的文本指令检索目标视频。MORSE 将目标特征预测建模为有序残差分解上的上下文条件修正,旨在区分真正满足指令的目标与外观相似但修改不符的候选视频。 机制上,有序残差分解把参考特征组织为具有累积依赖关系的加性分量;Residual Transformation 根据文本指令与各分量的残差上下文预测差异化修正,再与参考特征聚合以预测目标特征。Target-supervised Refinement 则利用共享码本下的目标分解,约束变换后分量的累积组合,将整体目标判别与结构监督结合,且不需要中间变化标注。其方法特点是超越单纯的全局目标对齐,进一步约束修改如何在特征分量之间协调。 作者报告,相较各基准上的近期方法,MORSE 在 FineCVR-1M 的 R@1 上取得 17.81% 的相对提升,在 TF-CoVR 的 mAP@50 上取得 10.25% 的相对提升;这不是百分点增益,且两项结果对应不同数据集与指标,不能直接比较。作者还报告,进一步分析支持上下文条件修正和目标侧结构监督对区分指令特定变化的作用。摘要未给出具体对照方法、绝对分数、数据划分或统计信息,实验协议与消融细节尚未验证。作者表示代码将在论文被接收后公开,不能据此认定已接收或代码已可用。 该方法原本依赖参考视频、修改指令和目标视频之间的监督关系。当前材料未建立其与 EEG/BCI 任务的具体对应关系,不据此推导神经信号解码收益;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其通过有序残差分解与目标侧结构监督刻画指令特定变化的机制,但性能增益及各模块贡献仍需结合全文协议与消融核对,尚无 EEG/BCI 有效性证据。

来源:OpenReview · Representation learning · openreview.net