跳到正文
OpenReview · Representation learning· Shentong Mo; Yansen Wang; Dongsheng Li·· 2023-09-17精选AI 评分70

LSPT:用于视觉表征学习的长期空间提示微调

LSPT: Long-term Spatial Prompt Tuning for Visual Representation Learning

AI 导读

基于摘要分析。本文研究预训练 Vision Transformers(ViTs)的视觉提示微调,提出 Long-term Spatial Prompt Tuning(LSPT),通过利用较早 block 的提示信息与 patch tokens,改善自监督 ViT 对下游视觉任务的适配。主要研究对象是视觉表征学习,并非 EEG 或 BCI。 机制上,作者认为现有方法主要引入新的可学习提示,或使用来自前一 block 的门控提示,未充分利用更早 block 的信息。LSPT 引入长期门控提示,作者将其称为 temporal coding,旨在减轻对较早 block 所获信息的遗忘;同时使用 patch tokens 作为 spatial coding,以持续积累有助于类别区分的特征。这里的“长期”和 temporal coding 指跨网络 block 的信息利用,不能直接等同于时间序列建模或脑信号时序编码。门控形式、提示聚合方式、可训练参数范围及训练目标尚未验证。 作者报告在 5 个 FGVC 和 19 个 VTAB-1K 基准上开展实验,并声称 LSPT 优于所比较的视觉提示微调方法。摘要未提供具体指标、分数、数据划分及对照配置,因此无法量化提升或确认比较条件;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 预训练 Transformer 具有可供提示交互的多层 token 表征,跨 block 提示复用可能成为下游适配的候选机制。可考虑复用门控提示思路,但需重新定义 EEG 的时间或通道 token,以及 patch tokens 的对应关系;低信噪比、跨被试差异和小样本可能使长期信息聚合同时保留噪声。一个可检验的假设是:在固定 EEG 骨干、相同数据划分与可训练参数预算下,跨 block 门控提示是否优于仅使用前一 block 的提示,可分别在被试内与跨被试协议中对照验证。上述不是论文已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其跨较早 Transformer block 复用提示信息与融合 patch tokens 的具体实现,以及两类机制对自监督 ViT 下游适配的独立贡献;摘要不足以验证性能优势或 EEG 迁移价值。

来源:OpenReview · Representation learning · openreview.net