跳到正文
OpenReview · State space models· Qi Bi; Jingjun Yi; Hao Zheng; Haolan Zhan; Yawen Huang; Wei Ji; Yuexiang Li; Yefeng Zheng·· 2024-09-26精选AI 评分72

面向域泛化语义分割的频率适配视觉基础模型学习

Learning Frequency-Adapted Vision Foundation Model for Domain Generalized Semantic Segmentation

AI 导读

基于摘要分析。本文研究视觉基础模型(VFM)在域泛化语义分割(DGSS)中受到跨域场景风格差异影响的问题,提出 Frequency-Adapted(FADA)学习方案,通过频率 tokens 分别处理内容与风格信息,以维持不同域风格下的内容稳定性。原研究对象是视觉场景语义分割,并非 EEG 或 BCI。 核心机制是利用 Haar 小波变换划分频率成分。作者将低频成分与场景内容、高频成分与场景风格对应,并设计低频、高频两个分支:前者稳定场景内容,后者学习场景风格并消除其对 DGSS 的影响。摘要尚未说明频率 tokens 的具体构造、分支与 VFM 的交互方式、损失函数及参数更新范围;内容与风格的频率对应也需结合正文和消融核对,不能视为普遍成立的分解规律。 作者报告,FADA 在多种 DGSS 设置中达到最先进表现,并可适配多种 VFM;但摘要未列出数据集、域划分、对照基线或具体指标,尚不能评估提升幅度及其适用边界。摘要提供了代码仓库地址,但实现内容与复现条件尚未核验,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可考察其“按频率分别处理任务内容与域差异”的思路是否有助于 EEG 跨被试或跨会话泛化。该假设依赖任务信息与域差异在频率成分上具有可利用的差异;视觉场景的监督与预训练规模、二维空间小波结构均不能直接照搬。可复用的是频率分解和分支适配思路,需改造 EEG 时频表示、通道处理及任务目标。EEG 高频成分可能包含有效神经活动,低频也可能包含伪迹;低信噪比、通道差异和小样本可能使内容与域差异难以分离。一个可证伪的小实验是在固定 Cross-subject 划分和相同训练预算下,比较不分频、仅分频及双分支适配模型的同一任务指标,检验收益是否来自频率分工而非额外参数。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 FADA 如何利用 Haar 小波与频率 tokens 分离场景内容和风格,以及该分离是否支撑跨域泛化;其对 EEG 中任务信息与域差异的适用性尚未验证。

来源:OpenReview · State space models · openreview.net