跳到正文
OpenReview · Representation learning· Zhibo Rao; Bangshu Xiong; Mingyi He; Yuchao Dai; Renjie He; Zhelun Shen; Xing Li·· 2023-01-01精选AI 评分74

面向域泛化立体匹配的掩码表征学习

Masked Representation Learning for Domain Generalized Stereo Matching

AI 导读

基于摘要分析。本文研究立体匹配模型的跨域泛化,尤其关注不同训练轮次之间泛化性能显著波动的问题;核心贡献是将掩码图像重建与立体匹配联合训练,促使模型学习结构信息。 方法将掩码后的左图与完整右图作为输入,在特征提取模块后加入轻量解码器,恢复原始左图,并以立体匹配和图像重建组成“伪多任务学习”框架。该机制依赖左右图像的配对与几何对应关系,以及原始左图提供的重建目标;摘要未说明立体匹配监督来源、掩码策略、损失形式及任务权重。 作者在 CFNet 和 LacGwcNet 两种架构上实现该方法,并报告:在多个数据集上的实验中,该模块能够改善跨域泛化表现,且降低不同训练轮次之间的泛化波动。摘要未列出数据集名称、划分、具体指标或改善幅度,实验协议、消融及统计信息尚未验证。作者还指出,现有方法倾向于从不同训练轮次中选取最佳结果报告泛化性能,而实际部署无法依赖目标域真实标签完成这一选择;具体检查点选择方案及其评估依据需查阅全文。 平台推测(待验证):可迁移的假设是,将掩码重建作为辅助任务,可能帮助 EEG 编码器保留时空结构,并缓解跨被试或跨会话泛化的不稳定性;但左右图像的几何对应不能直接等同于 EEG 通道关系,需要改造掩码单元、重建目标与解码器。低信噪比可能使重建偏向噪声,被试差异、通道不一致和小样本也可能削弱收益。可用同一 EEG 编码器对比任务训练与加入掩码重建的联合训练,固定不使用目标测试标签的检查点选择规则,考察跨被试任务指标及训练轮次间波动,而非仅比较最佳轮次。上述并非本文已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

值得关注其通过掩码重建辅助立体匹配、同时考察不同训练轮次泛化波动的设计,但其对 EEG 域泛化的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net