重新审视掩码自编码器中的图像块依赖

基于摘要分析。本文研究视觉掩码自编码器（MAE）解码器中的图像块间依赖如何影响表征学习，并提出 cross-attention masked autoencoders（CrossMAE），以仅含交叉注意力的解码器独立重建少量被掩码图像块，考察掩码 token 之间的交互是否必要。 机制上，作者将掩码重建的解码过程分解为掩码 token 之间的自注意力，以及掩码 token 与可见 token 之间的交叉注意力。作者据此认为，MAE 从可见图像块重建连贯图像，主要依赖编码器学习到的全局表征，而非解码器中的图像块间交互。CrossMAE 保留从编码器输出读取重建信息的交叉注意力，取消掩码 token 之间的交互，并仅对被掩码图像块的一个小子集进行重建。 作者报告，在覆盖 ViT-S 至 ViT-H 的模型对照中，CrossMAE 达到与传统 MAE 相当或更优的性能。摘要未提供具体数据集、下游任务、评价指标、训练预算或数值，因此尚不能判断优势出现的条件及计算收益。实验协议、消融及统计信息尚未验证；摘要提供了代码链接，但实现与复现条件尚未核对。 平台推测（待验证）：若 EEG 掩码建模也主要依赖编码器整合全局信息，则独立读取掩码片段的交叉注意力解码器可能成为可复用模块。迁移需将图像块改为时间片段或时空 token，并调整位置与通道编码；原方法依赖可见图像块提供重建信息，其对数据规模和监督设置的具体要求尚未验证。EEG 的低信噪比、跨被试差异、通道变化及小样本条件可能使这一假设失效。可在固定 EEG 数据划分、编码器与训练预算下，对照原 MAE 解码器和仅含交叉注意力的解码器，分别检查重建表现与下游任务指标；已有 EEG 相关工作尚未检索确认。