跳到正文
OpenReview · Representation learning· Zezhen Zeng; Jonathon S. Hare; Adam Prügel-Bennett·· 2022-01-01精选AI 评分72

通过信息压缩进行无监督表征学习

Unsupervised Representation Learning via Information Compression

AI 导读

基于摘要分析。本文研究图像的无监督分解与表征学习,核心方法是通过信息瓶颈寻找压缩表示,逐步添加局部图像块以修正重建残差,使区域发现与编码成本优化相联系。 具体机制是:网络接收当前重建的残差,提出边界框;框内图像经下采样后输入 variational auto-encoder(VAE),由其形成信息瓶颈。VAE 解码得到的局部重建经上采样后,用于修正边界框内的重建结果。优化目标同时考虑 VAE 潜变量的编码长度与传输剩余残差所需的编码长度;当新增潜变量的编码成本超过残差编码成本的减少量时,迭代停止。其关键思路不是预先固定区域数量,而是用压缩收益决定是否继续细化表示。 作者报告,一个简单实现能够发现有意义的边界框,并将这些区域用于下游应用;摘要提到与其他无监督对象发现模型进行了比较,但未提供数据集、具体下游任务、指标或定量结果。实验协议、消融及统计信息尚未验证,编码长度的具体估计方式、网络配置与复现条件也需查阅全文。 平台推测(待验证):可迁移的机制是依据残差与编码成本自适应分配表示容量,而非直接迁移图像边界框。假设这一机制可用于 EEG 时频表示中的局部结构提取,需要将区域提议与重建模块改造为适合时间、频率及通道结构的形式,并核对跨通道关系是否被保留。低信噪比可能使模型优先编码伪迹,小数据与跨被试差异也可能削弱区域稳定性。一个可证伪的小实验是在固定被试划分下,对比该压缩驱动局部重建方法与固定图像块 VAE,在匹配编码预算时检查重建误差及下游任务表现;不能仅凭更好的重建认定 BCI 有效。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是以潜变量编码成本与残差传输成本的权衡驱动迭代图像分解,可据此核对信息压缩目标能否形成有意义的对象区域;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net