理解语义有意义的 token 对视觉表征学习的影响

基于摘要分析。本文研究视觉 transformer 将图像切分为等尺寸 patch 是否限制全面且具有组合性的表征学习，并在视觉—语言预训练框架中，以语义有意义的视觉 token 替代或补充常规图像切块表征，探索其对检索与组合性任务的影响。 方法利用现成的分割模型和场景图模型，提取实例分割掩码的表征，称为 tangible tokens；同时提取关系与动作的表征，称为 intangible tokens。视觉侧 transformer 接收这些 token，并将所得嵌入与文本侧编码器产生的图像描述嵌入对齐。作者还引入附加注意力权重，用于计算自注意力分数，以表达 token 间的结构与语义关系。具体 token 编码、对齐损失和权重构造方式尚未验证。 作者报告，在 COCO 实验中，相较 ViTs，文本到图像检索和图像到文本检索分别提升 +47% 和 +44%；在组合性基准 ARO 和 Winoground 上分别提升 +18% 和 +10%。摘要未明确这些百分比对应的具体指标、相对增幅口径、数据划分及基线配置，因此不能解释为准确率的百分点提升，也不能据此判断收益来自 token 语义、外部模型能力还是注意力设计。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，以具有语义的事件或信号片段及其关系组织输入，可能比固定切窗更适合部分 EEG 表征任务，但原论文研究的是图像与文本，未提供 EEG/BCI 有效性证据。迁移需要重新定义 EEG token、关系来源及监督方式；低信噪比、跨被试差异和小数据可能使语义提取误差抵消收益。可检验的小实验是在相同 EEG 数据划分与编码器预算下，对比固定切窗 token、事件 token，以及事件 token 加关系权重，并核对事件信息在推理时是否可得。已有 EEG 相关工作尚未检索确认。