采用稀疏自选择的脑对齐多流视频 Transformer

基于摘要分析。该研究面向视频理解模型的计算效率与生物可解释性，而非 EEG 基础模型训练或 BCI 解码；核心贡献是结合稀疏竞争式 token 选择和受视觉通路启发的双流结构，并用视频分类任务及 EEG 表征相似性评估模型。 方法上，作者提出稀疏 winner-takes-all token 选择模块，以替代稠密自注意力，旨在提高效率并近似生物视觉回路中的竞争式路由。另一个设计是 split-and-fuse 视频 Transformer：高空间分辨率、低帧率的“what”流与低空间分辨率、高帧率的“where”流分别处理互补信息，并在分类前融合。具体选择规则、稀疏程度、融合操作和训练目标尚未验证。 作者报告，在 Kinetics-400 与 Something-Something V2 上，其最佳变体在模型规模及预训练条件可比的模型中位于准确率与推理时间的 Pareto 前沿，并对空间扰动表现出更好的鲁棒性；摘要未提供分类分数、推理硬件或扰动协议，不能据此量化收益。 神经对齐方面，作者使用相同视频刺激对应的模型嵌入与时间分辨 EEG 记录进行表征相似性分析，报告脑—模型相关性峰值为 0.18，约为噪声上限的 78%，且持续优于强视频 Transformer 基线。这是视频表征与 EEG 的对应结果，不等同于 EEG 分类准确率或 BCI 性能。被试规模、刺激与数据划分、相关性计算、峰值选取、噪声上限估计及统计信息尚未验证。 复现时应优先核对两个结构设计各自对效率、分类表现及神经对齐的贡献，以及比较模型的规模、预训练与推理条件是否匹配。摘要未提供足够依据将该结构视为已验证的 EEG 建模方法。