利用 Masked Image Modeling 改进有监督表征学习

该研究针对有标签监督下的视觉表征学习，在图像分类训练中加入 Masked Image Modeling（MIM，掩码图像建模）辅助任务，以改善下游表征质量。基于摘要分析，研究对象是计算机视觉，而非 EEG 或 BCI。 方法以 vision transformer 图像编码器为基础，保留原有分类任务，并在编码器之上增加浅层 transformer 解码器，从掩码图像输入重建图像 token。作者报告，该设计仅需较小的架构改动，且不增加推理开销。摘要未提供分类与重建任务的损失权重、掩码策略、重建目标细节或训练成本，相关实现条件尚未验证。 作者报告，在 ImageNet-1k 验证集上，ViT-B/14 的 Accuracy 为 81.72%，优于其基线；在同一数据集的 K-Nearest-Neighbor 图像检索评估中也优于基线。作者还报告该方案可改善分类、图像检索和语义分割的表征质量，并可扩展至更大的模型和数据集。具体基线配置、数据划分细节、消融及统计信息尚未验证。摘要表示将发布代码与检查点，不能据此确认已发布。 平台推测（待验证）：可检验的迁移假设是，在有标签 EEG 任务中加入掩码重建辅助监督，可能缓解仅依赖分类标签时表征学习受限的问题。可复用的是编码器、分类任务与辅助解码器联合训练的框架；需改造图像 token、掩码单元与重建目标，使其对应 EEG 的时间片段及通道结构。原方法依赖图像 token 的结构及标签监督，其所需数据规模尚未验证；EEG 低信噪比、被试差异、通道配置变化和小样本可能使重建任务偏向噪声或被试特征，而非任务信息。 一个小规模可证伪实验是：固定同一 EEG 数据集的 Cross-subject 划分、编码器和训练预算，对照仅分类训练与分类加掩码重建训练，比较相同分类指标及跨随机种子稳定性，并检查辅助任务权重的影响。此为迁移验证建议，不是原论文结果；已有 EEG 相关工作尚未检索确认。