跳到正文
OpenReview · Representation learning· Lei Wang; Bo Liu·· 2023-10-04精选AI 评分76

面向步态识别的层次化时空表征学习

Hierarchical Spatio-Temporal Representation Learning for Gait Recognition

AI 导读

基于摘要分析。该研究面向通过行走方式识别个体的步态识别任务,针对身体部位表征可能忽略局部运动模式之间层次依赖的问题,提出由粗到细提取步态特征的层次化时空表征学习框架 HSTL;其主要研究对象是视觉步态生物识别,而非 EEG 或 BCI。 方法首先利用层次聚类分析,从全身到局部细节恢复多层级身体结构;随后设计自适应区域运动提取器 ARME,学习区域独立的运动特征,并按自顶向下的方式堆叠多个 ARME,使其分别对应不同层级的身体分区。自适应时空池化模块 ASTP 用于捕获不同细节层级的步态特征并进行层次化特征映射;帧级时间聚合模块 FTA 则通过多尺度时间下采样减少步态序列中的冗余信息。其方法重点是联合建模空间分区层级与时间尺度,而不只是分别提取身体部位特征。 作者报告,在 CASIA-B、OUMVLP、GREW 和 Gait3D 上的实验优于当时最先进方法,同时保持准确性与模型复杂度之间的合理平衡。摘要未给出具体指标、数据划分、对照方法及复杂度数值,因此无法量化优势或判断不同数据集结果的可比性;实验协议、消融及统计信息尚未验证,损失函数、训练配置与代码可用性也尚未验证。 平台推测(待验证):若 EEG 任务中存在稳定的区域组织和多尺度时间依赖,层次分区与时间聚合可作为结构设计假设,但视觉身体层级不能直接等同于 EEG 通道拓扑。迁移需要重新定义通道或脑区层级,并调整区域特征提取和时间下采样;低信噪比、跨被试差异及稀疏通道可能使层级不稳定,下采样也可能丢失短暂判别信息。一个可检验的小实验是在固定的 EEG 被试内与跨被试划分下,比较平坦通道分组和预定义层次分组,并单独检验时间下采样的影响,保持其他训练条件一致。相关 EEG 工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得关注其如何通过层次化身体分区、区域运动提取与多尺度时间聚合组织步态特征,但性能优势及复杂度权衡仍需结合全文中的评估协议核验。

来源:OpenReview · Representation learning · openreview.net