面向域适应语义分割的掩码表示建模
Masked Representation Modeling for Domain-Adaptive Segmentation
基于摘要分析。本文研究从有标签源域向无标签目标域迁移的语义分割,提出 Masked Representation Modeling(MRM),直接在潜在空间执行表示掩码与重建,以高层语义特征而非像素或视觉 token 为重建目标,使辅助自监督任务更贴近分割目标。 机制上,MRM 引入轻量辅助模块 Rebuilder,与分割网络联合训练,并在推理时移除。作者称该设计可集成到 DeepLab、DAFormer 等标准架构,且不增加测试时开销。相较于重建低层信号的掩码建模方法,其主要区别在于重建对象的语义层级;具体掩码策略、重建目标如何生成、损失形式及梯度路径尚未验证。 作者报告,在分别与四种代表性基线结合的评估中,MRM 在 GTA → Cityscapes 和 Cityscapes → Synthia 两个 UDA 迁移设置上,平均分别提升 +2.3 mIoU 和 +2.8 mIoU。摘要未提供各基线名称、逐项结果、数据划分或方差信息;实验协议、消融及统计信息尚未验证,不能据此判断不同架构上的收益是否一致。 平台推测(待验证):其可迁移假设是,用高层表示重建而非原始波形重建,为 EEG 跨被试域适应提供辅助监督。原方法依赖图像空间结构、有标签源域及无标签目标域;迁移时可借鉴潜在空间掩码与训练期 Rebuilder,但需重新定义 EEG 的时间、通道或片段表示,以及与下游任务一致的重建目标。低信噪比、通道布局差异和小样本可能使重建偏向被试特征或噪声,而非任务语义。一个可证伪的小实验是在固定 Cross-subject 划分、仅源域标签可用于训练的条件下,对比同一域适应基线有无该辅助任务,并核对目标任务指标与推理开销。已有 EEG 相关工作尚未检索确认。
值得关注其以潜在语义特征重建辅助域适应、且推理时移除辅助模块的设计,但摘要中的分割增益不能直接视为 EEG 跨域有效性的证据。
来源:OpenReview · Representation learning · openreview.net