跳到正文
OpenReview · Representation learning· Wenzhao Xiang; Chang Liu; Hongyang Yu; Xilin Chen·· 2025-01-01精选AI 评分70

小波驱动的掩码图像建模:通向高效视觉表征的路径

Wavelet-Driven Masked Image Modeling: A Path to Efficient Visual Representation

AI 导读

基于摘要分析。本文研究视觉自监督学习中的 Masked Image Modeling(MIM),针对像素重建可能过度关注纹理等细节、增加训练开销的问题,以多层小波分解得到的系数构建重建目标,旨在提高视觉表征学习的训练效率。 核心机制是将图像分解为不同层级的小波系数,以形成对应不同频率与尺度的重建目标,再将这些目标纳入 MIM,并通过可调权重突出重要信息。作者强调,相比 Fourier transform,小波变换能够同时保留频率信息、空间特征与多层级信息,其分解层级也与现代神经网络的层次结构相契合。摘要未说明具体小波基、分解层数、掩码策略、损失形式及权重确定方式。 作者报告,在所评估的多种下游任务上,该方法取得相当或更优的性能,并具有更高训练效率;但摘要未列出数据集、基线、指标、训练预算或效率测量方式,因此无法判断收益幅度,也不能区分训练步数、实际耗时与总计算量的改善。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,用多尺度时频重建目标替代原始 EEG 波形重建,可能减少对冗余细节的拟合。可复用的是分层重建与目标加权思想;图像空间小波分解则需改为适合 EEG 时间轴与通道结构的处理,并核对采样率、频段及通道差异。该假设依赖小波尺度能够保留任务相关信息,在低信噪比、跨被试分布变化及小数据条件下,也可能强化伪迹或丢失瞬态 ERP。可在固定 EEG 数据划分、编码器和训练预算下,对比原始波形与小波系数重建,检查下游性能及实际训练耗时是否改善。上述方案不是本文已验证结果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其多层小波系数重建目标与权重设置能否在保持下游性能的同时降低 MIM 训练成本,但摘要未提供量化收益与计算成本核算协议。

来源:OpenReview · Representation learning · openreview.net