MuCCA:多层次人类颜色表征引导的神经视觉解码互补对齐
MuCCA: Multilevel Human Color Representation-guided Complementary Alignment for Neural Visual Decoding
基于摘要分析。该研究针对神经视觉解码中视觉监督未显式考虑人类颜色加工多层次组织的问题,提出 MuCCA,以不同颜色空间的视觉表征监督神经信号与图像特征对齐,并用于检索、分类和图像重建。 方法为每个视觉刺激构造 RGB、LMS、DKL-inspired 和 CIELUV 四种视图,分别引入与视锥细胞响应、拮抗关系及感知颜色属性相关的监督。四个独立训练的 Residual Projection Encoders(RPE)通过对称对比学习,将神经记录对齐到各视图的冻结 CLIP ResNet-50 特征。另设原始图像分支,联合训练 ATM 神经编码器与 ViT-H-14 图像编码器,用于生成。 检索与分类时,四个 RPE 分支分别输出候选排序,并以候选并集衡量互补解码成功。重建时,diffusion prior 从 ATM 嵌入预测主条件;三个线性投影将 LMS、DKL 和 CIELUV 监督的神经嵌入映射到相同条件空间,通过特征监督和跨空间一致性进行正则化,再由四个 IP-Adapters 将条件注入预训练 SDXL 生成器。 作者报告,在 THINGS-EEG 和 THINGS-MEG 上,MuCCA 的检索、分类和重建表现优于所比较的先进方法,但摘要未提供具体指标、数值、被试信息及 Within-subject 或 Cross-subject 等划分协议,因此无法判断增益幅度与泛化范围。候选并集体现多分支的互补覆盖,不能直接等同于单一排序或统一决策性能;需核对候选预算与基线是否一致。颜色空间监督是否分别贡献有效信息、收益是否受分支数量或训练资源影响,以及重建对神经条件的依赖程度,也需通过全文中的对照与消融验证。 摘要提供匿名代码地址,但代码完整性、预处理、训练配置及复现条件尚未核验;实验协议、消融及统计信息尚未验证。其生理启发的颜色表征设计不等于已验证的人类颜色加工模型。
值得核对多种颜色表征监督是否带来独立且互补的神经视觉解码收益,尤其需要区分候选并集的覆盖增益与统一决策下的性能提升。
来源:OpenReview · EEG · openreview.net