跳到正文
OpenReview · Representation learning· Fei Zhao; Ting Zhang; Yi Wu; Ming Tang; Jinqiao Wang·· 2021-10-01精选AI 评分74

用于孪生视觉跟踪的抗衰减 LSTM 与对抗学习

Antidecay LSTM for Siamese Tracking With Adversarial Learning

AI 导读

基于摘要分析。本文研究视觉跟踪中目标外观随时间和空间变化、长期特征记忆衰减的问题,提出用于 Siamese tracking 的 antidecay long short-term memory(AD-LSTM),并通过对抗学习优化缺乏直接真值监督的目标特征图。原研究对象是视频目标跟踪,而非 EEG 或 BCI。 核心机制包括两项 LSTM 结构调整:将所有全连接层替换为卷积层,以保留特征的空间结构;改进记忆单元,使目标外观信息在时间维度上尽可能长久地传递、减轻衰减。摘要未说明记忆单元的具体方程,因此不能将“抗衰减”理解为已证明信息永不丢失。针对 AD-LSTM 输出特征图没有直接真值的问题,作者引入对抗学习,目标是同时改善 Siamese network 的响应图与目标特征表示;具体对抗损失、监督来源及训练流程尚未验证。 作者报告,该跟踪器在 OTB-100、TC-128、VOT2016、VOT2017、GOT-10k 和 TrackingNet 六个视觉跟踪基准上,相对当时先进跟踪器表现有竞争力。摘要未提供具体指标、分数、数据划分或对照配置,无法量化优势;实验协议、消融及统计信息尚未验证。复现还需核对完整网络、目标模板更新方式、训练数据和对抗训练设置。 平台推测(待验证):其可讨论的迁移路径是将保留空间结构的时序记忆用于连续 EEG 特征建模,而不是直接复用视觉跟踪器。假设输入具有稳定的通道拓扑或时频结构,卷积化记忆模块可能提供参考;但视觉目标模板、响应图及对抗监督需要重新定义。EEG 的低信噪比、跨被试与通道差异、小样本训练,以及长记忆对伪迹的累积,都可能使该机制失效。一个小规模可证伪实验是在固定 EEG 任务及相同划分、输入和训练预算下,对比标准 LSTM、卷积化 LSTM 与 AD-LSTM,并单独消融对抗学习,检查收益是否来自记忆机制。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其卷积化记忆单元与对抗学习如何缓解视觉跟踪中的长期特征衰减,但摘要不足以确认各模块的独立贡献,也不能据此认定其适用于 EEG。

来源:OpenReview · Representation learning · openreview.net