面向异构行人重识别的跨模态信息瓶颈表示学习
Learning Cross-modality Information Bottleneck Representation for Heterogeneous Person Re-Identification
基于摘要分析。本文研究可见光—红外行人重识别(VI-ReID),提出互信息与模态共识网络 CMInfoNet,旨在减少身份无关信息冗余,并兼顾不同模态的信息互补,而非仅将两种模态映射到共享特征空间。 核心机制是优化互信息瓶颈权衡,使表示保留更多身份相关信息、压缩无关部分;同时引入自动搜索策略,寻找具有身份辨识力的行人区域。模态共识模块用于对齐可见光与红外模态、缓解跨模态及模态内变化,并结合全局—局部特征表示辨别关键部位。摘要未给出互信息估计方式、损失形式、搜索空间及各模块的训练细节。 作者报告 CMInfoNet 在所列基准上有效,列举了 SYSU-MM01、RegDB、Occluded-DukeMTMC、Occluded-REID、Partial-REID 和 Partial_iLIDS;但原文称“四个基准”却列出六个名称,数量及任务分组需核对。摘要未提供指标数值、数据划分或对照结果,尚不能量化其相对收益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):信息瓶颈与模态共识可能对应多模态 EEG 研究中任务信息保留和模态差异控制的问题,但原方法依赖行人身份监督与图像空间部位结构,不能直接等同于神经信号方法。若迁移,需将身份目标改为神经解码任务目标,将部位搜索改为适合通道—时间结构的选择模块;低信噪比、小数据及跨被试差异可能使压缩过程误删有效信号。一个可检验的小实验是在配对 EEG 与另一模态的数据上固定编码器及被试划分,比较基础融合、加入信息瓶颈、再加入模态共识的表现。该迁移尚无本材料中的直接证据,已有 EEG 相关工作尚未检索确认。
值得关注其通过互信息瓶颈兼顾身份信息保留与冗余压缩、再以模态共识处理跨模态差异的机制,但摘要的基准数量表述与列举不一致,具体实验协议和收益尚需全文核对。
来源:OpenReview · Representation learning · openreview.net