SignAlign：面向手语检索中跨模态表征学习的结构感知对齐

基于摘要分析。SignAlign 研究自然语言文本与手语视频之间的双向语义检索，通过保留句间语义结构和联合约束视频—文本 token 对齐，缓解跨模态适配中的文本语义关系变化与局部相似度重复计分问题。 核心机制包括两部分。Text Semantic Structure Alignment（TSSA）以冻结的预训练文本编码器为参照，将适配后句子表征之间的归一化成对距离、三元组角度与参照结构对齐，旨在避免仅强调已标注视频—文本关联时，不同含义的文本被拉得过近。Cross-Modal Token Structure Alignment（CTSA）通过熵正则最优传输联合确定 token 对齐权重：多个文本 token 若对齐至同一视频 token，须共享该视频 token 的可用权重，从而限制其在检索分数中被重复强调。所得联合对齐分数在训练与推理时均与独立加权的局部相似度分数融合。 作者报告，在三个公开手语检索基准上，SignAlign 相较强基线改善了两个检索方向的表现。摘要未给出基准名称、数据划分、具体检索指标或提升幅度；实验协议、消融及统计信息尚未验证。复现需核对文本编码器与视频表征来源、结构约束的具体形式、最优传输配置及分数融合方式，不能据摘要判断各模块的独立收益。 平台推测（待验证）：该机制可能用于具有配对文本监督的 EEG—文本检索，其对应瓶颈是跨模态适配造成的语义结构偏移，以及少量高相似度信号片段主导匹配分数。可考虑复用文本参照约束与联合对齐机制，但需改造 EEG token 的时间窗、通道表征和权重分配；低信噪比、跨被试差异及小样本可能使对齐不稳定，文本语义距离也未必对应 EEG 可分辨性。一个可证伪的小实验是在固定跨被试划分下，对比基础检索模型、分别加入 TSSA 或 CTSA、以及二者联合的表现，检查收益是否稳定。已有 EEG 相关工作尚未检索确认。