跳到正文
OpenReview · Representation learning· Zhaofan Qiu; Ting Yao; Chong-Wah Ngo; Xinmei Tian; Tao Mei·· 2019-01-01精选AI 评分78

通过局部与全局扩散学习时空表示

Learning Spatio-Temporal Representation With Local and Global Diffusion

AI 导读

基于摘要分析。本文研究视频识别中 CNN 局部卷积难以捕获长程依赖的问题,提出 Local and Global Diffusion(LGD)框架,通过并行学习并交互更新局部与全局表示,增强视频时空特征建模。 机制上,网络由 LGD blocks 构成,每个模块通过两类表示之间的扩散更新局部和全局特征,使局部细节与整体信息交互;随后引入核化分类器,融合两类表示用于视频识别。摘要未提供扩散算子、全局表示构造方式、核函数、损失及训练细节,其创新贡献需结合正文中的结构对照和消融进一步核对。 作者报告,在大规模 Kinetics-400 与 Kinetics-600 视频分类评估中,相对摘要所称的最佳竞争方法分别提升 3.5% 和 0.7%;摘要未明确对应指标、基线、划分及该表述是否指百分点,因此不能改写为 Accuracy 提升或直接用于跨协议比较。作者还报告,将预训练 LGD 网络的局部与全局表示用于四个视频动作识别及动作时空检测基准时,表现优于若干当时的先进方法;具体基准名称、数值、迁移协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移假设是,局部—全局交互可能帮助 EEG 同时建模短时局部模式与跨通道、长时间依赖。原方法依赖具有空间邻接和时间连续性的视频数据及大规模预训练背景;可借鉴的是两类表示的交互更新思路,输入编码、通道拓扑及全局汇聚需针对 EEG 改造。低信噪比可能使全局特征汇聚伪迹,跨被试差异、通道布局变化与小数据也可能削弱收益。可在固定 Cross-subject 划分与相同训练预算下,对比局部基线、无交互的局部—全局融合及 LGD 式交互,并检查通道扰动下的性能变化,以检验收益是否来自交互机制。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 LGD block 中局部与全局表示的双向交互机制及其相对对照的贡献,但其在 EEG 时空建模中的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net