用于弱监督可见光—红外行人重识别的对应关系与表征协同演化
Correspondence-Representation Co-Evolution for Weakly Supervised Visible-Infrared Person Re-Identification
基于摘要分析。本文研究弱监督可见光—红外行人重识别:训练图像在各模态内独立标注,覆盖相同身份,但跨模态对应关系未知。作者提出 ReCUE,通过多个全局匹配方案的共识指导表征学习,并持续修订对应关系,缓解早期错误匹配被后续训练放大的问题。 机制上,Global Correspondence Hypothesis Inference(GCHI)枚举代价最低的 K 个可行一对一分配,以候选匹配在这些方案中的出现频率衡量支持度。Structural Uncertainty-Aware Learning(SUAL)据此区分监督:高支持匹配使用硬目标,歧义匹配保留覆盖竞争对象的软目标,低支持匹配不接受由对应关系产生的正向监督。Correspondence-Representation Co-Evolution(CRCE)周期性重建完整对应状态及监督,使已接受匹配仍可被重新分配或降级。方法的关键并非一次性筛选伪匹配,而是将结构性不确定性与可撤回监督结合。 作者报告,在 SYSU-MM01 的 All Search 设置下,ReCUE 的 Rank-1/mAP 为 73.0%/69.0%;在 LLCM 的 VIS→IR 设置下为 57.0%/60.5%。这些结果属于不同数据集和检索设置,不宜直接横向比较。摘要未提供对照结果、K 的取值、损失细节、更新周期及统计信息,实验协议与消融尚未验证。作者表示代码将公开,当前材料未确认其可用性。 平台推测(待验证):该机制可能适用于具有共同实体集合、但跨模态配对未知的 EEG 多模态表征学习,而非直接解决一般 EEG 分类。可复用的是全局匹配共识与分级监督;需改造匹配代价、信号编码及对应约束。其前提是一对一关系基本成立,低信噪比、跨被试差异、小数据或缺失实体都可能使多个匹配方案共同支持错误关系。一个可证伪的小实验是:在具有真实跨模态配对的数据子集上隐藏配对,固定编码器与数据划分,对比单一最优匹配和多假设可修订监督的配对恢复率及下游表现。已有 EEG 相关工作尚未检索确认。
值得核对的是 ReCUE 如何利用多个全局匹配假设的共识分配监督强度,并允许已接受的匹配被撤回,以缓解伪匹配与表征学习相互强化的错误循环;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net