视觉模型捕捉儿童中互补、在成人中趋于一致的表征
Vision Models Capture Complementary Representations in Children That Converge in Adults
基于摘要分析。本研究考察图像—文本对齐模型与纯视觉模型所捕捉的视觉表征如何随发育而变化,使用8岁儿童、12岁儿童及成人的 EEG 数据开展时间分辨表征相似性分析,并通过共同性分析区分两类模型的共享与独特解释成分。 作者报告,在上述年龄组的 EEG 表征比较中,图像—文本对齐模型与纯视觉模型在8岁组呈现互补结构,在12岁组的共享方差接近零,在成人组则具有更大的重叠;与此同时,两类模型在所有年龄组均保留独特解释方差。因此,成人组的趋同不意味着两类模型的解释完全相同,也不能据此将年龄组差异直接解释为个体纵向发育轨迹。 作者报告,这一模式可推广至不同模型配对;作为对照,纯视觉模型之间的配对在各年龄组均表现出重叠方差,作者据此提出双重分离的解释。此外,类别内部的表征结构即使在成人组中仍呈互补关系,提示图像—文本对齐训练可能捕捉到纯视觉训练未能恢复的细粒度结构。 该研究的主要对象是视觉表征的发育及模型—脑表征对齐,而非 BCI 解码性能。作者据此认为,仅使用纯视觉模型可能遗漏与发育阶段相关的脑表征结构;摘要结果尚不能证明图像—文本对齐模型能改善 EEG 分类或实际 BCI 表现。具体模型及训练数据、视觉刺激、被试数量、EEG 预处理、表征构建方式、时间窗、多重比较处理及效应量均尚未验证,实验协议、消融及统计信息需结合全文核对。
值得阅读之处在于通过时间分辨表征相似性分析与共同性分析,检验图像—文本对齐模型和纯视觉模型对不同年龄组 EEG 表征的独特与共享解释,而非仅比较单一模型的脑表征拟合程度。
来源:OpenReview · EEG · openreview.net