LSPT:用于视觉表征学习的长期空间提示调优
LSPT: Long-term Spatial Prompt Tuning for Visual Representation Learning
基于摘要分析。本文研究如何利用自监督 Vision Transformers(ViTs)中较早层块的信息,改善预训练视觉模型面向下游任务的 Visual Prompt Tuning(VPT)。作者提出 Long-term Spatial Prompt Tuning(LSPT),结合长期门控提示与 patch tokens,分别承担作者所称的时间编码和空间编码。 核心机制:作者认为,既有方法主要引入新提示,或从紧邻的前一层块获取门控提示,未充分利用更早层块的信息。LSPT 引入跨较远层块的长期门控提示,旨在减少对早期层块已获信息的遗忘;同时利用 patch tokens 持续积累类别相关特征。这里的“时间编码”指模型层块间的信息传递,不应直接理解为对真实时间序列的建模。摘要未给出门控计算、提示聚合方式、训练目标及参数更新范围。 评估方面,作者报告在 5 个 FGVC 基准和 19 个 VTAB-1K 基准上开展实验,并声称优于既有视觉提示调优方法。摘要未提供具体指标、分数、数据划分或对照配置,因此无法量化提升,也无法判断各机制的独立贡献;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,跨层提示聚合可能有助于预训练 EEG Transformer 在下游适配时保留较浅层表征,但这依赖模型具有可插入提示的 token 结构及适用的预训练表征。长期门控机制可作为候选复用模块,视觉 patch 的空间编码则需按 EEG 通道与时间片结构改造,不能照搬视觉类别特征解释。低信噪比、跨被试差异和小样本可能使门控提示累积噪声或过拟合。一个可证伪的小实验是在同一预训练 EEG 模型与固定跨被试划分下,对比相邻层提示和跨层长期提示,保持可训练参数预算一致,并检验去除空间编码后的变化。上述迁移尚未验证,已有 EEG 相关工作尚未检索确认。
值得核对其跨层长期门控提示与 patch tokens 的协同机制,以及相对既有 VPT 的收益来源;摘要报告了视觉基准上的优势,但尚不能据此判断 EEG/BCI 适用性。
来源:OpenReview · Representation learning · openreview.net