跳到正文
OpenReview · State space models· Lishun Wang; Miao Cao; Xin Yuan·· 2023-01-01精选AI 评分78

EfficientSCI:用于大规模视频快照压缩成像的时空因子分解稠密连接网络

EfficientSCI: Densely Connected Network with Space-time Factorization for Large-scale Video Snapshot Compressive Imaging

AI 导读

基于摘要分析。该研究针对视频快照压缩成像(SCI)中重建算法计算成本高、受 GPU 显存限制而难以处理高压缩比大规模视频的问题,提出 EfficientSCI,以稠密连接和时空因子分解构建高效的端到端重建网络。其主要研究对象是压缩光学测量中的视频恢复,而非神经信号解码。 SCI 使用二维探测器在单次曝光内记录连续多帧视频的压缩测量,再由算法恢复视频序列。EfficientSCI 在残差块内结合稠密连接与时空因子分解,分别用空间域卷积和时间域 Transformer 建模空间、时间相关性。摘要未提供具体网络规模、损失函数、训练数据及测量算子的实现细节,不能将其归为状态空间模型。 作者报告,在高压缩比 UHD 彩色视频重建场景中,单个端到端模型可从二维快照测量恢复视频,PSNR 超过 32 dB;但摘要未给出该结果对应的具体压缩比、数据划分及测量条件。作者还报告,在仿真与真实数据上,相比此前 SOTA 算法获得更好的重建表现和实时性能;具体基线、速度、显存占用、实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,复现仍需核对数据、编码掩模、训练配置与硬件条件。 平台推测(待验证):可借鉴的是将空间与时间依赖分开建模的思路,而不是直接迁移光学 SCI 的重建结果。若用于 EEG,需将规则图像网格上的空间卷积改为适配电极布局的空间建模,并重新定义输入、监督与任务目标;低信噪比、跨被试差异、缺失通道及小数据可能削弱时间 Transformer 的收益。一个可检验的小实验是在同一 EEG 数据集、相同跨被试划分和训练预算下,对比空间卷积加时间 Transformer 与仅时间卷积的模型,同时记录任务指标、显存与推理延迟。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其通过空间卷积、时间 Transformer 与稠密连接降低视频 SCI 重建开销的机制,但作者报告的高压缩比 UHD 重建结果仍需结合完整测量协议和资源消耗核对,不能据此认定其适用于 EEG。

来源:OpenReview · State space models · openreview.net