跳到正文
OpenReview · State space models· Jiahui Yu; Hongwei Gao; Dalin Zhou; Jinguo Liu; Qing Gao; Zhaojie Ju·· 2022-01-01精选AI 评分73

面向空间人机交互的基于深度时序模型的身份感知手部检测

Deep Temporal Model-Based Identity-Aware Hand Detection for Space Human-Robot Interaction

AI 导读

基于摘要分析。本文研究空间人机交互(SHRI)视频中的手部检测与身份区分,针对小目标检测、帧间时序建模和实时推理问题,提出时序检测器 TA-RSSD,并结合在线 tubelet 分析实现多个手部目标的身份关联。其主要研究对象是视频视觉感知,而非 EEG 或 BCI 信号解码。 方法上,TA-RSSD 以 SSD 和 spatiotemporal long short-term memory(ST-LSTM)为基础,结合 Resnet-101 与三级特征金字塔,以兼顾语义信息和细节。作者提出重新设计的 temporal attentional LSTM(TA-LSTM),对三个层级的特征图进行时序建模,并称其能够抑制背景及尺度干扰。身份感知模块利用低层注意力图区分外观相似的手部目标;此外,关联训练方案用于增强帧间时序一致性。摘要未说明关联训练的具体损失、tubelet 匹配规则及身份标注方式。 评估覆盖按任务需求采集的 SHRI-VID、AU-AIR 和 ImageNet-VID。作者报告,检测与身份感知的消融和对照实验支持所提方法的优势,并在空间机器人实测中实现实时运行和较高准确性;但摘要未给出指标数值、数据划分、对照配置、推理硬件或时延,不能据此量化提升或判断不同场景下的可比性。完整实验协议、消融及统计信息尚未验证。 该工作的可核对价值在于多尺度视频特征的时序整合及身份关联设计。现有材料没有提供其与 EEG/BCI 瓶颈的具体机制对应,不能将视觉检测结果视为 BCI 有效性的证据;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将多尺度时序特征建模与在线手部身份关联结合的机制,但摘要未提供定量结果,实时性及身份保持能力仍需结合完整实验协议核对。

来源:OpenReview · State space models · openreview.net