跳到正文
OpenReview · State space models· Yajun Gao; Tengfei Liang; Yi Jin; Xiaoyan Gu; Wu Liu; Yidong Li; Congyan Lang·· 2021-01-01精选AI 评分73

MSO:用于 RGB-红外行人重识别的多特征空间联合优化网络

MSO: Multi-Feature Space Joint Optimization Network for RGB-Infrared Person Re-Identification

AI 导读

基于摘要分析。该研究针对 RGB-红外跨模态行人重识别(ReID),提出多特征空间联合优化网络 MSO,在各模态独立特征空间与公共特征空间中共同学习模态共享特征,而非仅在最终公共空间消除模态差异。 核心机制:作者以边缘信息具有模态不变性为依据,设计边缘特征增强模块,并在分析边缘融合策略后提出 perceptual edge features(PEF)损失,用于增强单模态空间中的共享特征。在公共特征空间中,作者引入 cross-modality contrastive-center(CMCC)损失,旨在增大跨模态距离与类别距离之间的差异。PEF 与 CMCC 以端到端方式联合优化;具体损失公式、距离定义及融合实现尚未验证。作者声称,这是该任务中首次对单模态特征空间进行显式优化,该优先性声明尚未独立核实。 结果与证据边界:作者报告,MSO 在 SYSU-MM01 和 RegDB 上优于当时的先进方法。摘要未提供指标数值、数据划分或具体对照,因此无法量化增益或判断各模块的独立贡献。实验协议、消融及统计信息尚未验证,复现所需的训练配置和实现可用性也尚未核实。 平台推测(待验证):可供 EEG 研究考察的是“域内特征约束与公共空间对齐联合优化”的机制,而不是直接迁移图像边缘先验。其原始任务依赖具有身份监督的 RGB 与红外图像;若用于跨被试或跨会话 EEG,需要重新定义具有生理意义的共享结构、域内约束及距离目标。假设这些约束能缓解域差异,可在固定标签使用条件和 Cross-subject 划分下,对比仅公共空间对齐与加入域内约束的方案;低信噪比、通道配置差异和小样本可能使所谓共享特征携带噪声或被试特异信息。该方向已有 EEG 相关工作尚未检索确认,原论文结果不构成 BCI 有效性的证据。

阅读价值

值得核对 MSO 在单模态与公共特征空间中联合约束的机制,以及 PEF、CMCC 各自的贡献,但其效果目前仅有摘要中的作者报告,不能据此认定对 EEG 或 BCI 有效。

来源:OpenReview · State space models · openreview.net