基于注意力自监督对比学习的 Cued Speech 手形特征表征三阶段模型

基于摘要分析。该研究面向辅助聋人或听力障碍者交流的 Cued Speech（CS），通过手形与位置消除唇部动作的语音歧义；核心贡献是提出三阶段手形特征学习模型，以降低对噪声标注的依赖，并构建包含 5 名 CS 母语使用者的 British English 数据集。其研究对象是视觉手形及 CS 识别，而非神经信号解码。 方法首先通过自监督对比学习，在不使用标签的情况下学习图像表征；随后利用少量人工标注 CS 数据微调第一阶段模块；最后结合 Bi-LSTM 与自注意力网络，进一步提取包含时间及上下文信息的序列特征。摘要未说明对比样本构造、数据增强、损失形式及各阶段训练细节，标题所指注意力机制与各模块的具体关系也需全文核对。 作者报告，在 French 与 British English 数据集上，手形识别 Accuracy 均超过 90%；相较作者所称的当时最先进方法，CS 音素识别正确率分别提升 8.75% 和 10.09%。摘要未明确后两项是相对百分比还是百分点，也未交代训练测试划分、是否跨说话人评估及具体基线，因此不能据此比较泛化能力或将其换算为其他指标。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是“无标签表征预训练—少量标注微调—时序上下文建模”可能缓解 EEG 小样本标注瓶颈，但原方法依赖图像及手形序列，迁移时需改造输入编码器、正负样本构造与增强策略；低信噪比、跨被试差异及通道变化可能使表征偏向个体或采集条件。可在固定标注预算和跨被试划分下，对比相同骨干的纯监督训练与自监督预训练，检验收益是否成立。相关 EEG 工作尚未检索确认。