ReAlnet:通过人类神经表征对齐实现更接近人脑的视觉
ReAlnet: Achieving More Human Brain-Like Vision via Human Neural Representational Alignment
基于摘要分析。该研究针对物体识别模型与人脑视觉信息处理之间的差距,提出 ReAlnet(Re(presentational)Al(ignment)net),利用非侵入式人类 EEG 记录对齐视觉模型的表征。主要研究对象是更接近人脑表征的人工视觉模型,而非 EEG 解码器或 BCI 控制系统。 核心方法是 image-to-brain 多层编码对齐框架,将人类神经活动作为视觉模型表征优化的依据,并同时优化模型的多个层。相较于摘要所述依赖非人类被试侵入式神经记录的研究路线,该工作的区别在于采用人类非侵入式 EEG。摘要未说明视觉模型骨干、神经信号预处理、时间窗、编码映射、损失函数及各层对齐方式,这些实现细节尚未验证。 作者报告,ReAlnet 与人脑表征的相似性显著提高,并能跨物体类别及不同神经数据模态学习或模拟人脑视觉表征模式;作者还报告,神经表征对齐改善了模型的对抗鲁棒性。摘要未提供相似性指标、具体神经数据模态、攻击设置、对照基线或效果数值,因而不能确定这些结果的适用范围,也不能据此认定已获得跨被试、跨会话或跨数据集泛化能力。 复现时需核对图像与 EEG 的配对方式、训练测试划分、对齐目标及多层优化的贡献,并区分表征相似性提升与物体识别性能提升。数据集、被试数、代码可用性、实验协议、消融及统计信息尚未验证。其直接阅读价值在于研究 EEG 如何约束人工视觉表征;这些结果本身不构成 BCI 解码性能改善的证据。
值得阅读的具体原因是其以非侵入式人类 EEG 为视觉模型提供多层表征对齐信号,并考察神经表征相似性与对抗鲁棒性的关系,但具体评估协议和效果幅度尚未验证。
来源:OpenReview · EEG · openreview.net