跳到正文
OpenReview · Representation learning· Xuehu Liu; Pingping Zhang; Huchuan Lu·· 2023-01-01精选AI 评分71

基于长短期表征学习的视频行人重识别

Video-Based Person Re-Identification with Long Short-Term Representation Learning

AI 导读

基于摘要分析。该研究面向视频行人重识别(V-ReID),即从互不重叠的摄像头拍摄的视频中检索特定行人,提出 Long Short-Term Representation Learning(LSTRL),通过联合建模长期外观信息与短期运动信息,改善人员及场景变化下的视频表征。 方法包含两个模块:Multi-granularity Appearance Extractor(MAE)跨多个视频帧提取四种粒度的外观表征;Bi-direction Motion Estimator(BME)从连续帧中提取双向运动信息。作者将二者描述为可插入现有网络的即插即用模块。摘要未说明四种粒度的具体定义、双向运动的计算方式,以及模块融合、损失函数和训练流程,相关实现尚未验证;此处 MAE 指外观提取器,并非掩码自编码器。 作者报告,在三个常用基准上的实验中,该方法优于多数当时的先进方法;但摘要未列出基准名称、数据划分、对照模型和具体指标,因此无法据此判断改进幅度或不同协议下的可比性。实验协议、消融及统计信息尚未验证,复现还需核对正文与实现条件。 平台推测(待验证):其可供 EEG 研究借鉴的是长时程结构与短时程变化分开建模的假设,而不是行人外观或视觉运动本身。原方法依赖多帧视频及连续帧结构,监督形式与数据规模尚未明确;迁移时需将外观粒度和运动估计改造为适合 EEG 的多时间尺度表征与局部动态模块。低信噪比可能使短时变化分支主要捕获伪迹,被试和通道差异及小数据也可能削弱互补收益。可在固定的跨被试 EEG 任务与一致划分下,对比单尺度、仅长时程、仅短时程及二者联合模型,并匹配参数规模,以检验分开建模是否确有增益。已有 EEG 相关工作尚未检索确认,原论文结果不构成 BCI 有效性证据。

阅读价值

值得关注其将跨帧多粒度外观与相邻帧双向运动分开建模的机制,但摘要未提供具体指标,其性能优势及向 EEG 时序表征的可迁移性尚待验证。

来源:OpenReview · Representation learning · openreview.net