用于鲁棒表征学习的上下文视觉 Transformer

基于摘要分析。Contextual Vision Transformers（ContextViT）面向不同群组间潜在因素变化造成的图像分布偏移，通过引入承载群组信息的 context token，使图像表征随群组上下文调整；研究同时覆盖监督微调与自监督表征学习。 机制上，ContextViT 借鉴 in-context learning，将同一群组内图像的信息映射为 context token，并将其追加到输入图像 tokens 中。作者还提出 context inference network，根据来自某一群组的一批样本即时预测该 token，从而在推理阶段适应新的测试分布。摘要未说明群组的具体定义、上下文聚合方式、训练目标，以及推理时是否更新参数，不能将其直接等同于基于参数更新的测试时自适应。 作者报告，在监督微调设置下，为预训练 ViT 加入上述上下文条件化机制，在 iWildCam 和 FMoW 上持续改善分布外泛化；在自监督表征学习设置下，ContextViT 在 Camelyon17 病理图像与 JUMP-CP 显微图像基准上，相较 ViT 获得了更稳定的分布偏移下图像表征。摘要未提供具体指标、数值、划分与基线配置，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，若 EEG 的被试或会话可形成具有共享偏移的群组，则可复用“同组样本聚合—上下文条件化”机制，尝试缓解跨被试或跨会话表征漂移；图像 token 化与编码器则需改为适配 EEG 时空结构的模块。该机制依赖可获得的同组样本及可靠的群组划分，低信噪比、小样本、通道差异或群组内任务类别比例变化，都可能使上下文混入噪声或类别信息。一个可证伪的小实验是在固定跨会话划分下，对比同一 EEG 编码器有无上下文条件化，并设置打乱群组的对照，明确标签使用范围，检验增益是否确实来自群组上下文。已有 EEG 相关工作尚未检索确认。