面向手语识别的时空一致性自监督表征学习

基于摘要分析。该研究针对手语识别中逐帧自监督学习难以充分利用姿态时空上下文的问题，提出自监督对比学习框架，通过手部与躯干之间的一致性，以及关节与运动模态之间的交互，学习具有实例区分能力的表征。研究对象是手语姿态数据，而非 EEG 或 BCI 信号。 方法包含两条机制路径：其一，将细粒度手部信息与粗粒度躯干信息编码到潜在空间，约束两者特征的一致性，以利用手语表达中的部位协同；其二，引入一阶运动信息，利用运动与关节模态的互补性，在两种嵌入空间之间建立交互，实现双向知识迁移。具体网络结构、对比样本构造、损失形式及一阶运动计算方式尚未验证。 作者报告，在四个公开基准上的实验取得了新的最优表现，并称领先幅度明显；但摘要未提供基准名称、划分协议、指标数值及对照方法，因此不能量化优势或判断跨设置的可比性。摘要声明代码公开，但代码可访问性、实现完整性及复现条件尚未核验；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的机制假设是，多粒度空间表征与原始信号—变化信息之间的一致性约束，可能有助于 EEG 自监督学习利用空间和时间互补信息。原方法依赖具有明确身体部位与关节对应关系的姿态序列；迁移时需将手部—躯干分组改为有依据的通道或脑区分组，并重新定义时间变化视图，不能直接把身体协同等同于脑区协同。低信噪比下差分可能放大噪声，跨被试及通道配置变化也可能破坏一致性，小数据下则有表征退化风险。可在固定的跨被试 EEG 划分中，对比基础自监督模型、加入空间分组一致性及再加入时间变化一致性的版本，检验收益是否稳定。已有 EEG 相关工作尚未检索确认。