跳到正文
OpenReview · State space models· Shiyu Qin; Jinpeng Wang; Yimin Zhou; Bin Chen; Tianci Luo; Baoyi An; Tao Dai; Shutao Xia; Yaowei Wang·· 2024-01-01精选AI 评分72

MambaVC:基于选择性状态空间的学习式视觉压缩

MambaVC: Learned Visual Compression with Selective State Spaces

AI 导读

基于摘要分析。本文研究学习式视觉压缩中率失真性能与计算效率难以兼顾的问题,提出基于状态空间模型(SSM)的压缩网络 MambaVC,利用选择性扫描捕获全局上下文,以减少视觉内容冗余;主要研究对象是图像压缩,并非 EEG 解码或 BCI。 机制上,MambaVC 构建视觉状态空间(VSS)块,在每次下采样后以二维选择性扫描(2DSS)模块作为非线性激活函数。作者将 SSM 的长程建模能力与效率作为设计动机,并比较不同网络设计。具体网络规模、损失函数、熵编码机制、训练数据及训练条件尚未验证。 作者报告,在 Kodak 上,相对于 CNN 和 Transformer 变体,率失真表现分别改善 9.3% 和 15.6%,计算量分别降低 42% 和 24%,内存开销分别减少 12% 和 71%。摘要未明确率失真改善百分比的计算口径,也未给出基线具体配置及资源测量条件,不能将这些数值直接解释为码率降幅或跨协议优势。作者还报告高分辨率图像上的改善更大,但摘要未提供相应数值。实验协议、消融及统计信息尚未验证;摘要提供了代码地址,复现仍需核对配置、数据处理和评估脚本。 平台推测(待验证):迁移假设是选择性状态空间的长程建模可用于 EEG 时序压缩,缓解长记录建模与资源开销之间的矛盾,而非据此认定其能提升 BCI 分类。原方法依赖二维图像结构和率失真优化,所需数据规模及监督设置尚未明确;可复用的是状态空间建模思想,扫描顺序、通道布局、失真目标及编码模块需改造。低信噪比、跨被试差异、通道变化和小数据可能导致模型保留噪声或损伤任务相关信息。一个可检验的小实验是在固定被试内划分、相同码率与训练预算下,对比适配后的状态空间压缩器和 CNN 压缩器,同时测量重建误差、资源开销及固定下游解码器的 Accuracy。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 MambaVC 的二维选择性扫描如何改善视觉压缩的率失真与资源开销平衡,但摘要中的改善百分比仍需结合全文指标定义和对照协议解读,EEG 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net