跳到正文
OpenReview · State space models·· 26 天前精选AI 评分76

用于冻结扩散模型分割的校准引导状态选择与类别条件融合

Calibration-Guided State Selection and Class-Conditioned Fusion for Frozen Diffusion Segmentation

AI 导读

基于摘要分析。本文研究扩散模型不同网络层与去噪时间步的表征在语义分割中的类别可靠性差异,提出 Classwise State Routing(CSR):利用少量带标签校准数据选择状态区域,并进行类别条件响应融合,在不更新模型参数的条件下改善冻结扩散模型的分割输出。 核心机制:作者指出,平均表现较好的状态并不一定对所有语义类别都可靠。CSR 在联合的层—时间步空间中估计类别级可靠性,据此选择紧凑的状态区域,并在冻结解码器之前融合类别条件响应。其可靠性分析关注下游解码后的表现,而非仅凭中间表征选择状态。所有路由决策在评估期间保持固定。因此,文中的 training-free 指不更新模型参数,并不意味着无需标签或校准数据。 作者报告,在四个评估数据集上,固定所选状态池的受控消融显示,类别条件加权均优于类别无关的共享加权基线。完整流程覆盖六种后端—任务设置和四个基准,在 12 项 open-vocabulary semantic segmentation(OVSS)比较中的 10 项,以及全部 12 项 category-agnostic 比较中取得改进;两类比较的最大增益分别为 12.79 和 6.88 个 mIoU 百分点。这些是特定比较中的最大值,不代表平均收益。作者还说明,更换扩散骨干后可通过针对该骨干重新校准来应用此流程。 验证边界:摘要未提供数据集名称、校准集规模与划分、具体骨干及解码器、可靠性估计公式或各项基线结果;实验协议、消融细节及统计信息尚未验证。复现时应重点核对校准集与评估集的隔离、状态选择及融合规则,以及重新校准的计算成本。 平台推测(待验证):若已有面向 EEG 的冻结扩散表征与下游解码器,类别可靠性校准可能用于检验不同层—时间步状态对各类别的贡献,但这是迁移假设,不是本文证实的 BCI 效果。可复用的是状态可靠性估计与固定融合规则,需改造的是 EEG 表征接口和解码响应;低信噪比、跨被试及通道变化、小校准集可能使权重失稳。一个可证伪的小实验是在相同状态池、冻结解码器及独立校准集下,对比共享加权与类别条件加权,并分别报告被试内和跨被试结果。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其固定状态池下的类别条件加权消融,以判断收益是否来自类别可靠性建模而非状态选择变化;作者报告了分割任务上的改进,但 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net