跳到正文
OpenReview · State space models· Yong-Lu Li; Xiaoqian Wu; Xinpeng Liu; Zehao Wang; Yiming Dou; Yikun Ji; Junyi Zhang; Yixing Li; Xudong Lu; Jingru Tan; Cewu Lu·· 2024-01-01精选AI 评分75

从孤岛到 Pangea:统一人类动作理解的语义空间

From Isolated Islands to Pangea: Unifying Semantic Space for Human Action Understanding

AI 导读

基于摘要分析。本文研究人类动作理解中不同数据集的类别语义与标签粒度不兼容问题,提出基于动词分类层级的结构化动作语义空间,将既有数据集的类别对齐到统一标签体系,并构建统一数据库 Pangea 及从物理空间映射到语义空间的模型。 核心机制是以动作语义层级连接原本分散的数据集。例如,摘要以“做家务”和“洗盘子”说明不同数据集可能在不同粒度上定义类别。作者整合图像、视频、骨架等数据,试图让多个数据集共同支持可泛化的动作学习。其贡献不只是合并样本,还包括标签语义对齐与配套模型;但具体层级构建规则、类别映射方式、多模态处理、模型结构、损失及训练流程尚未验证。 作者报告,新系统在广泛实验中表现出显著优势,尤其是在迁移学习方面。摘要未提供具体数据集清单、划分、对照基线、指标或数值,因此不能确定优势对应哪些迁移协议,也不能据此作跨协议比较。实验协议、消融及统计信息尚未验证。摘要表示代码和数据将公开,这不等于已经确认其可获取或可复现。 平台推测(待验证):其语义层级对齐思路可能用于具有明确动作语义对应关系的跨数据集 EEG 运动想象研究,针对标签定义或粒度不一致的问题;这是假设,不是本文已验证的 BCI 效果。可复用的是标签层级与映射机制,信号编码器和训练目标需针对 EEG 改造,并依赖可靠的类别语义对应关系。动作概念相近不代表 EEG 表征相近,低信噪比、被试与通道差异、小样本规模均可能削弱收益。一个可检验的小实验是在类别对应明确的两个 EEG 数据集上,以相同编码器和 Cross-dataset 划分比较平坦标签对齐与层级语义对齐,核对是否改善目标数据集表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过动词分类层级对齐不同粒度动作标签、整合异构数据集的机制,但作者报告的迁移学习优势及其对 EEG 的适用性仍需分别核验。

来源:OpenReview · State space models · openreview.net