跳到正文
OpenReview · State space models· Atefeh Khoshkhahtinat; Ali Zafari; Piyush M. Mehta; Nasser M. Nasrabadi·· 2024-01-01精选AI 评分73

采用模糊消散合成的神经编解码器中的拉普拉斯引导熵模型

Laplacian-guided Entropy Model in Neural Codec with Blur-dissipated Synthesis

AI 导读

基于摘要分析。本文研究神经图像压缩中的感知重建质量与潜在表示熵编码问题,提出结合非各向同性扩散解码器与拉普拉斯引导熵模型的框架,分别面向图像合成和潜在表示概率建模。 在解码端,作者认为,以条件扩散模型替代高斯解码器虽能提升感知质量,但仍受限于图像归纳偏置不足;因此引入非各向同性扩散,使模型能够区分不同频率内容。摘要未给出扩散过程、条件输入及训练目标的具体形式,标题中“模糊消散合成”的实现细节尚未验证。 在熵模型端,方法利用潜在空间的空间与通道相关性,按通道分块结合局部及全局空间上下文。全局上下文由面向图像压缩设计的 Transformer 建模,其采用拉普拉斯形状的位置编码,可学习参数针对各通道簇自适应调整。该部分旨在提高潜在表示概率估计的准确性,并加快熵解码。 作者报告,在其图像压缩实验中,整体框架相较前沿生成式编解码器取得更好的感知质量,所提熵模型带来码率节省;摘要未提供数据集、对照方法名称、评价指标、具体数值及运行时条件,因此无法判断收益幅度或质量—码率—计算开销之间的权衡。实验协议、消融及统计信息尚未验证,代码与复现条件亦尚未验证。 原论文的主要对象是图像压缩,而非神经信号解码。其图像频率偏置及二维空间上下文能否适用于 EEG/BCI,现有材料不足以判断;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将频率区分归纳偏置用于生成式图像解码、并结合局部与全局空间上下文进行熵建模的机制,但感知质量、码率收益与解码加速幅度仍需全文核对,尚无 EEG/BCI 有效性证据。

来源:OpenReview · State space models · openreview.net