跳到正文
OpenReview · Representation learning· Theodore Zhao; Sid Kiblawi; Jianwei Yang; Naoto Usuyama; Reuben Tan; Noel C Codella; Tristan Naumann; Hoifung Poon; Mu Wei·· 2026-05-01精选AI 评分78

通过空间—语义因子化学习稀疏视觉表示

Learning Sparse Visual Representations via Spatial-Semantic Factorization

AI 导读

基于摘要分析。该研究针对视觉自监督学习中语义抽象与图像重建之间的张力,提出 STELLAR:将视觉特征因子化为语义概念及其空间分布的低秩乘积,使稀疏表示同时服务于语义迁移与空间重建。主要研究对象是图像表示,并非 EEG 或 BCI。 机制上,摘要将 DINO 类方法描述为通过增强对齐学习变换不变的全局表示,将 MAE 类方法描述为保留利于空间定位的稠密特征网格。STELLAR 在语义 tokens 上执行增强对齐,并通过定位矩阵保留重建所需的空间信息,意在分离语义身份与空间几何。具体损失、因子化实现、稀疏约束及训练流程尚未验证,不能据此认定其已全面优于 DINO 或 MAE。 作者报告,使用少至 16 个稀疏 tokens 的因子化表示可同时支持图像重建与语义迁移:重建 FID 为 2.60,ImageNet Accuracy 为 79.10%。摘要未说明 FID 的评估数据与采样设置,也未明确 ImageNet 的评估方式、数据划分和 Accuracy 类型,因此这些数值不能脱离协议与其他方法直接比较。实验协议、消融及统计信息尚未验证。摘要提供了代码链接,但代码完整性、权重与复现条件尚未核查。 平台推测(待验证):若 EEG 特征中的任务相关信息与时空分布能够部分解耦,可尝试复用“语义 tokens+定位矩阵”的表示思路;但需将图像网格改为通道—时间结构,并重新验证增强是否保留任务语义。低信噪比、跨被试空间差异及小数据可能使因子分离失效。一个可证伪的小实验是在固定跨被试划分、相同编码器与训练预算下,对比因子化与非因子化表示的任务 Accuracy 和信号重建误差,检验两项目标是否确实兼容。该假设不构成已验证的 EEG 效果,相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是 STELLAR 将语义增强对齐与空间重建分配给因子化表示的不同组成部分,为稀疏表示兼顾判别与生成提供了可核对的机制,但摘要中的性能仍需结合完整评估协议验证。

来源:OpenReview · Representation learning · openreview.net