跳到正文
OpenReview · State space models·· 2026-02-01精选AI 评分77

状态空间模型是有效的手语学习器:利用音系组合性实现词汇规模手语识别

State Space Models Are Effective Sign Language Learners: Exploiting Phonological Compositionality for Vocabulary-Scale Recognition

AI 导读

基于摘要分析。本文研究手语识别随词汇规模扩大而性能下降的问题,提出 PhonSSM,以手形、位置、运动和朝向等可复用音系参数的组合结构约束表征学习,而非将每个手语词视为独立的视觉模式。 方法以骨架数据为输入,通过基于解剖结构的图注意力、正交子空间中的显式因子分解,以及支持少样本迁移的原型分类实现音系分解。摘要未说明状态空间模块的具体作用、子空间约束的损失形式及训练流程,这些实现细节尚未验证。 作者报告,研究使用了覆盖 5,565 个手语词的数据,并称其为迄今规模最大的 ASL 数据集;该规模判断尚未独立核实。在 WLASL2000 上,作者报告成绩为 72.1%,相对其所称骨架方法 SOTA 提高 18.4 个百分点,并超过多数 RGB 方法,但摘要未明确指标名称、数据划分及具体对照。作者还报告少样本条件下相对提升 225%,以及零样本迁移至 ASL Citizen 时超过有监督 RGB 基线;少样本样例数、相对提升的计算基准和迁移协议尚未验证。作者据此将词汇扩展瓶颈归因于表征学习,但这一解释仍需结合正文对照与消融核对。 平台推测(待验证):其潜在可借鉴之处是以结构先验分解可复用因素,而非直接迁移手语分类器。假设 EEG 任务存在可独立标注且可组合的因素,可将骨架图改为适配电极关系的结构,并检验因子化与原型分类是否有助于小数据泛化;但手语音系参数并不天然对应 EEG 潜在因素,低信噪比、跨被试差异及通道变化可能破坏分解。可在具有此类标签的单一 EEG 数据集上,固定编码器与训练划分,比较有无因子化约束的 Cross-subject 表现。已有 EEG 相关工作尚未检索确认,实验协议、消融及统计信息尚未验证。

阅读价值

值得核对 PhonSSM 如何将音系分解落实为可组合表征,尤其是词汇规模扩展、少样本与零样本迁移的评估协议;摘要中的增益尚不能作为 EEG/BCI 有效性的证据。

来源:OpenReview · State space models · openreview.net