跳到正文
OpenReview · State space models· Wenjin Hou; Dingjie Fu; Kun Li; Shiming Chen; Hehe Fan; Yi Yang·· 2025-01-01AI 评分68

ZeroMamba:探索用于零样本学习的视觉状态空间模型

ZeroMamba: Exploring Visual State Space Model for Zero-Shot Learning

AI 导读

基于摘要分析。本文研究视觉零样本学习(ZSL):利用已见类别的语义知识识别未见类别,提出以 Vision Mamba 为骨干的参数高效框架 ZeroMamba,通过局部与全局语义表征的融合改善视觉—语义交互;其主要研究对象是视觉分类,而非 EEG 或 BCI。 框架包含三个组件:Semantic-aware Local Projection(SLP)利用语义嵌入,将视觉特征映射为与局部语义相关的表征;Global Representation Learning(GRL)促进全局语义表征学习;Semantic Fusion(SeF)融合两类表征,以增强语义特征的判别性。作者将这些组件集成到 Vision Mamba,形成端到端 ZSL 框架。其动机是利用视觉状态空间模型的长程依赖建模能力,回应作者所指出的 CNN 感受野限制与 ViT 二次复杂度问题。摘要未提供具体损失函数、语义嵌入来源、训练策略或参数效率测量。 作者报告,在四个 ZSL 基准上,ZeroMamba 在传统零样本学习(CZSL)和广义零样本学习(GZSL)设置下均优于 CNN、ViT 类对照方法。摘要未列出基准名称、类别划分、指标、数值或具体基线,因此无法核对优势幅度,也不能将两种设置的结果直接比较;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,语义引导的局部投影与全局融合可能帮助 EEG 未见任务类别识别,但前提是存在可用且能与神经信号对齐的类别语义监督。SLP、GRL、SeF 的功能设计可供考察,视觉骨干及局部特征定义则需改造为时间—通道表征;低信噪比、跨被试差异、通道变化和小数据可能使语义对齐失效。一个可证伪的小实验是固定 EEG 编码器与训练数据,在严格隔离未见类别的划分下,对比全局语义映射与加入局部投影、融合后的表现,并单独报告 CZSL、GZSL 结果。相关 EEG 工作尚未检索确认,原论文结果不构成 BCI 有效性的证据。

来源:OpenReview · State space models · openreview.net