用于细粒度视频表征学习的多实体视频 Transformer

该研究面向逐帧生成表征的时间细粒度视频理解任务，提出自监督 Multi-entity Video Transformer（MV-Former），通过每帧保留多个实体 token，将空间信息更充分地纳入时间建模。基于摘要分析，未取得论文全文。 核心机制是改变空间压缩与时间交互的顺序：摘要所述既有后期融合方法在跨帧信息交换前，先将每帧压缩为单个向量；MV-Former 则以一组实体表示每帧。模型利用自监督 ViTs 的图像特征，并通过 Learnable Spatial Token Pooling 识别、提取每帧多个显著区域的特征，避免微调复杂的 ViT 骨干。具体自监督目标、实体数量、时间建模结构及训练设置尚未验证。 作者报告，MV-Former 在多个细粒度视频基准上取得领先结果，超过既有自监督方法及部分使用额外监督或训练数据的方法；使用 Kinetics-400 的额外预训练数据后，性能进一步提高。摘要未给出具体评估基准、指标、数值与划分，因此不能据此量化提升或核定不同方法的比较条件。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但实现与复现条件尚未核查。 平台推测（待验证）：其可迁移假设是，在时间交互前保留多个局部空间表征，可能减少 EEG 过早全局池化造成的信息损失。可借鉴多 token 聚合与时间交互思路，但需将图像区域特征替换为适合 EEG 通道或通道组的表示，不能直接假定图像 ViT 特征适用。低信噪比、跨被试空间差异、通道配置变化和小样本可能使可学习聚合不稳定。一个可证伪的小实验是在同一 EEG 编码器、训练数据与跨被试划分下，对比每个时间窗单 token 与多 token 聚合，并控制容量和计算量，检验收益是否稳定。已有 EEG 相关工作尚未检索确认。