跳到正文
OpenReview · State space models· Bryan Cheng; Austin Jin; Jasper Zhang·· 2026-03-02精选AI 评分78

状态空间模型是有效的手语学习器:利用音系组合性实现词汇规模识别

State Space Models are Effective Sign Language Learners: Exploiting Phonological Compositionality for Vocabulary-Scale Recognition

AI 导读

基于摘要分析。本文研究手语识别随词汇量扩大而性能下降的问题,提出 PHONSSM,将手形、位置、运动和朝向等可跨词汇复用的音系要素引入表征学习,以替代将每个手语词视为独立视觉模式的扁平表示。 方法结合具有解剖学依据的图注意力、向正交子空间的显式因子分解,以及支持少样本迁移的原型分类。其核心假设是:利用语言结构中的组合性归纳偏置,可以缓解大词汇量下的表征瓶颈。摘要未说明状态空间模块的具体作用、音系要素如何获得监督、正交约束的损失形式及训练流程,相关实现尚未验证。 作者报告,研究仅使用骨架数据,并涉及包含 5,565 个手语词的 ASL 数据集合;“规模最大”是作者的表述,数据来源、构建方式及其与各评估集的关系仍需正文核对。在 WLASL2000 上,作者报告结果为 72.1%,较所比较的骨架方法最佳结果提高 18.4 个百分点,并超过多数 RGB 方法;摘要未明确该百分数的指标定义及数据划分。作者另报告少样本条件下相对提升 225%,以及零样本迁移至 ASL Citizen 时超过有监督 RGB 基线,但未提供少样本配置、迁移指标或具体对照条件,不能据此进行跨协议比较。 阅读和复现时应重点核对数据集合与类别重叠、骨架提取流程、少样本及零样本的定义,以及图注意力、因子分解和原型分类各自的贡献。实验协议、消融及统计信息尚未验证。本文的直接研究对象是基于视觉骨架的手语识别,并非 EEG 或 BCI;摘要未提供将手语音系结构映射到神经信号的具体依据,不应将其结果视为 BCI 有效性的证据。

阅读价值

值得核对的是 PHONSSM 如何将手语音系分解落实为表征约束,以及这些约束是否解释了作者报告的大词汇量识别与少样本迁移收益;具体协议和消融尚未验证。

来源:OpenReview · State space models · openreview.net