DALR：用于多模态句子表征学习的双层对齐学习

基于摘要分析。本文研究图像与文本参与的多模态句子表征学习，针对粗粒度对齐中的跨模态错位偏差与模态内语义分歧，提出 DALR，以跨模态一致性学习和模态内排序关系建模改善句子表征。 跨模态层面，DALR 的一致性学习模块对负样本进行软化，并利用辅助任务提供的语义相似度实现细粒度对齐。摘要未说明辅助任务类型、相似度计算方式及负样本软化的具体损失形式。模态内层面，作者认为句子关系不应仅由二元正负标签描述，因此将排序蒸馏与全局模态内对齐学习结合，以保留更细致的语义排序结构。其方法重点是同时处理跨模态对应关系和模态内关系，而非只强化图文配对。 作者报告，在 semantic textual similarity（STS）和 transfer（TR）任务上，DALR 持续优于所比较的先进基线。摘要未提供数据集、划分协议、基线名称、指标或具体数值，不能据此量化优势；实验协议、消融及统计信息尚未验证，也无法确认两个对齐层面的独立贡献。复现需进一步核对辅助任务监督来源、排序教师或排序目标的构造方式，以及训练数据和实现细节。 平台推测（待验证）：若 EEG 与刺激文本具有明确配对关系，并能获得可靠的语义相似度监督，可检验负样本软化是否缓解语义相近刺激被当作负例的问题，以及排序蒸馏是否有助于保留 EEG—文本表征中的语义关系。可复用的是关系软化与排序约束思路；需改造 EEG 编码器、时间窗与配对规则，并核对文本语义排序是否适用于 EEG。低信噪比、跨被试差异、通道配置变化及小样本均可能使排序监督不可靠。一个可检验的小实验是在固定跨被试划分下，对同一 EEG—文本对齐基线分别加入负样本软化、排序蒸馏及两者组合，比较配对检索表现；这不是本文已验证的结果，已有 EEG 相关工作尚未检索确认。