跳到正文
OpenReview · State space models·· 2026-09-14精选AI 评分77

CORE:面向像素空间扩散的上下文锚定表征学习

CORE: Learning Contextually Grounded Representations for Pixel-Space Diffusion

AI 导读

基于摘要分析。本文研究像素空间扩散中的表征自监督问题:噪声表征与较干净目标的特征相似度较高,并不保证空间对应关系或像素预测质量。作者提出 CORE,通过相关噪声观测及上下文预测任务,将表征学习与像素预测误差联系起来。 机制上,Correlated Dual Observations 为同一图像构造噪声相关、干净程度不同的成对观测,用于训练共享生成器。Contextual Representation Grounding 则在掩码位置的共享表征上设置两个耦合任务:一是依据可见上下文预测较干净的特征;二是预测校正目标,该目标根据真实像素残差,对较干净观测所引起的预测变化进行选择和缩放。其区别于单纯特征对齐之处,是同时约束上下文可恢复性及表征对像素误差的作用。作者称 CORE 无需外部表征编码器或独立 EMA 教师,且不改变推理流程。 作者报告,在 ImageNet 的 256×256 与 512×512 图像生成实验中,CORE 的 FID 持续低于所评估的自监督基线;在训练 600 个 epoch 的条件下,CORE-L/16 的 FID 还低于使用外部表征监督的 PixelREPA。摘要未给出具体 FID、完整对照配置与统计信息,实验协议、消融及统计信息尚未验证。代码计划公开,当前可用性尚未验证。 平台推测(待验证):其潜在 EEG 对应点是检验“特征相似不等于信号重建有效”,而非直接视为 BCI 解码方法。迁移假设依赖同一信号的相关噪声视图、可信的较干净目标及样本级残差;可借鉴双观测和上下文恢复任务,但需将图像空间掩码与像素校正改为时间—通道掩码及信号残差。EEG 低信噪比、伪迹相关性、跨被试差异与小数据可能使目标偏离神经活动。可在固定被试内划分下,对同一 EEG 片段构造受控相关噪声,对比仅特征对齐与加入残差校正任务的重建误差及下游解码表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将上下文特征恢复与像素预测误差耦合的自监督机制;作者报告该机制在所评估的 ImageNet 像素空间扩散设置中降低了 FID,但其消融证据与 EEG 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net