理解使用语义有意义的 token 对视觉表征学习的影响

基于摘要分析。该研究探讨：将图像切分为等尺寸 patch 是否限制了视觉表征的全面性与组合性，以及用具有语义意义的视觉 token 替代或补充这种输入组织方式能否改善表征。其核心贡献是在视觉—语言预训练框架中引入对象、关系与动作信息，并通过结构化注意力建模 token 间的联系。 方法上，作者利用现成的分割和场景图模型，提取实例分割掩码的表征，称为 tangible tokens；同时提取关系与动作表征，称为 intangible tokens。视觉侧 transformer 接收这些 token，其输出嵌入与文本侧编码器产生的描述文本嵌入进行对齐。作者还引入 additive attention weights，用于计算自注意力分数，以表达视觉 token 间的结构与语义关系；具体权重构造、训练损失和输入组合方式尚未验证。 作者报告，在 COCO 的文本到图像检索与图像到文本检索任务上，相较 ViTs 的提升分别为 +47% 和 +44%；在组合性基准 ARO 与 Winoground 上，作者报告的提升分别为 +18% 和 +10%。摘要未说明具体指标、数据划分、基线配置，以及这些数值属于相对提升还是其他增益口径，因此不能将其解释为百分点，也不宜直接横向比较。实验协议、消融及统计信息尚未验证，尤其需核对上游分割与场景图模型带来的额外监督、计算成本，以及语义 token 和注意力改动各自的贡献。 平台推测（待验证）：其可供 EEG 研究参考的是按语义单元组织输入、再显式编码关系的思路，而非现成的 EEG 方法。假设 EEG 存在可可靠提取的事件或功能单元，可探索以此缓解固定时间窗切分对事件边界的割裂；关系加权机制可能可复用，但 token 提取与语义监督需重新设计。低信噪比、跨被试差异、通道变化及小数据可能使语义分组不稳定。一个可证伪的小实验是在同一 EEG 数据划分与编码器下，对比固定时间窗和事件对齐 token，并单独消融关系权重，检查收益能否在跨被试条件下保留。已有相关 EEG 工作尚未检索确认。