Vision Transformers 的统一且具有生物合理性的关系图表示
A Unified and Biologically Plausible Relational Graph Representation of Vision Transformers
基于摘要分析。本文研究如何统一表示不同 Vision Transformer(ViT)架构,以系统分析其表征性能,以及人工神经网络与真实生物神经网络的相似性;核心贡献是提出由 aggregation graph 和 affine graph 构成的关系图表示,而非 EEG 解码方法。 机制上,aggregation graph 将 ViT tokens 视为节点,描述空间 patch 信息之间的交互;affine graph 将网络通道视为节点,描述通道间的信息通信。该表示试图用共同的图结构语言比较不同 ViT 的信息聚合策略。摘要未说明边的构造、权重定义、跨层处理方式,以及所用图指标和生物网络参照数据。 作者报告,在其所评估的 ViT 模型中,模型性能与图指标密切相关,所提出的关系图表示与真实生物神经网络具有较高相似性;作者还报告,训练时利用表现更优的模型约束 aggregation graph,可进一步改善模型性能。摘要未提供任务、数据集、模型范围、对照基线、相似性度量或收益数值,实验协议、消融及统计信息尚未验证。图结构相似性本身不能等同于生物计算机制一致,也不构成 BCI 有效性的证据。 平台推测(待验证):可检验的迁移假设是,将该关系图分析用于 EEG Transformer,观察 token 交互结构是否与跨被试泛化表现相关。可复用的是 token/通道双图的分析框架;需根据 EEG 的时间、频率和电极组织方式改造节点与边的定义,不能直接沿用视觉空间邻接。其依赖可提取的模型交互关系及明确的图构造规则;监督信号和训练规模要求尚未验证。低信噪比、被试差异、通道布局变化及小数据可能使图指标主要反映噪声或训练拟合。一个小规模检验是在固定 EEG 数据集和跨被试划分下,比较多个训练种子的图指标与解码表现是否稳定相关,再决定是否测试图约束训练。已有 EEG 相关工作尚未检索确认。
值得关注其将 ViT 的 token 交互与通道通信统一表示为关系图的机制,但图指标与性能的关联、生物网络相似性及图约束训练收益均需结合全文协议核对。
来源:OpenReview · Representation learning · openreview.net