Patch 大小及其对 MAEs 表征的影响

基于摘要分析。本文研究医学图像中多尺度信息与 Masked Autoencoders（MAEs）固定 patch 大小之间的矛盾，提出 Mosaic MAE：在不同 patch 大小之间动态训练，并通过 adaptive LayerNorm 显式引入 patch 尺度条件，使单个预训练模型能够提取细粒度细节与粗粒度语义结构。 作者认为，patch 大小本身起到空间滤波作用，决定编码特征的粒度，并使模型难以表征小于 patch 的对象。Mosaic MAE 的核心思路是让模型适应多种 patch 尺度，而非为不同分辨率分别训练模型；摘要未说明 patch 尺度采样、输入适配、掩码策略及具体训练目标，这些实现细节尚未验证。 作者报告，在 multi-scale MNIST-on-ImageNet 数据集和侧位 DXA 骨扫描上的实验中，Mosaic MAE 的表征学习优于 FlexiMAE（FlexiViT 的自监督变体）。摘要未提供具体任务、指标、提升幅度、数据划分或计算成本，因此不能量化收益，也不能确认不同尺度下的改进是否一致；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其尺度条件化机制可能对应 EEG 掩码建模中固定时间 patch 对短暂事件与长时节律兼顾不足的问题，但原研究对象是多尺度图像，并非 EEG。可考虑复用动态 patch 训练和 adaptive LayerNorm 条件化思路，需将二维空间 patch 改为符合采样率、时间结构及通道组织的输入单元。低信噪比可能使小 patch 更易捕捉噪声，跨被试差异、通道变化及小数据也可能削弱尺度适配。一个可证伪的小实验是在固定数据划分、掩码比例和训练预算下，比较固定时间 patch MAE 与尺度条件化版本，并分别评估短时事件及较长时间结构的表征收益。已有 EEG 相关工作尚未检索确认。