跳到正文
OpenReview · State space models· Anton Backhaus; Thorsten Luettel; Mirko Mählisch·· 2025-01-01精选AI 评分76

面向语义分割的知识蒸馏:一种标签空间统一方法

Knowledge Distillation for Semantic Segmentation: A Label Space Unification Approach

AI 导读

基于摘要分析。研究针对语义分割数据集之间类别体系和标注政策不一致、难以联合利用数据的问题,提出兼具标签空间统一功能的知识蒸馏方法。主要研究对象是城市与越野自动驾驶场景的图像语义分割,而非 EEG 或 BCI。 核心流程是先在具有给定类别体系的源数据集上训练教师模型,再为额外数据生成伪标签;这些额外数据已有相关标签空间中的真值标注。通过将相关类别体系映射到源类别体系,方法构造教师预测伪标签时必须遵循的约束,再使用经真值约束修正的伪标签训练学生模型。其关键不是直接合并不同标注体系,而是利用已有标注限制伪标签预测范围。 作者报告,学生模型在城市与越野两个领域均持续优于教师模型,但摘要未给出具体指标、增益及对照协议。作者报告,修正后的伪标签分别覆盖城市领域的 12 个公共数据集、388.230 张图像,以及越野领域的 7 个公共数据集、18.558 张图像(图像数量保留原文记法);并声称构成截至当时最大的自动驾驶复合数据集,该规模定位尚未独立核验。类别映射规则、模型结构、训练损失、数据划分、消融及统计信息尚未验证。 平台推测(待验证):若不同 EEG 数据集的任务标签存在可明确建立的上下位或兼容关系,这种“标签映射约束伪标签”的机制可能有助于跨数据集整合监督。可复用的是类别映射与预测约束模块,需改造的是信号模型及任务标签语义;EEG 的低信噪比、被试差异、通道配置差异和小数据条件可能放大教师错误,且语义不兼容的任务不能仅靠映射统一。一个可检验的小实验是在标签确实兼容的两个 EEG 数据集上,固定模型与数据划分,对比无约束和映射约束伪标签的正确率及学生模型表现。此处仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其利用已有真值标签约束跨数据集伪标签的机制,以及标签空间统一与学生模型性能提升之间的关系;摘要尚不足以验证具体增益与复现条件。

来源:OpenReview · State space models · openreview.net