Frozen Expert：冻结编码器对齐SAR与文本

1. 01:43
   arXiv · 多模态与生成机制精选

   保持流形：用于标注高效 SAR 场景理解的冻结专家对齐

   基于摘要分析。本文研究合成孔径雷达（SAR）影像与自然语言的跨模态对齐，提出 Frozen Expert 框架：冻结 CROMA SAR 编码器与 CLIP 文本编码器，仅学习轻量、受约束的残差桥接模块，以减少有限描述数据下的模态错配与预训练表征退化。其主要研究对象是遥感场景理解，而非 EEG 或 BCI。 作者将问题分为两类：SAR 微波后向散射与光学反射存在物理差异，使基于光学图像预训练的文本语义空间难以用少量 SAR 描述数据适配；另一方面，微调 SAR 编码器可能破坏其通过大规模自监督预训练获得的雷达物理表征。方法以冻结两端编码器、约束中间映射为设计原则，并使用 Procrustes disparity 将所谓“物理遗忘”操作化为几何变化指标。作者报告，桥接方法与微调的 disparity 分别为 0.210 与 0.351；这一指标反映表征几何差异，并不单独证明所有物理信息均被保留。 在零样本 SAR 场景分类评估中，作者报告，相比微调基线，方法使用的训练数据最多可减少至八分之一，并在 DFC2020 上取得 R@1 +10.3%、mAP +15.5%，在 EuroSAT-SAR 上取得 R@1 +15.7%、mAP +12.2%，在 BigEarthNet-MM 上取得 R@1 +14.7%。摘要未明确这些增益表示相对百分比还是百分点，也未逐项对应数据用量，因此不宜进一步换算或横向比较。作者还报告在多种 SAR 骨干与文本编码器上验证了通用性。桥接约束、损失形式、数据划分、基线配置、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，在已有可靠 EEG 预训练表征、但配对文本监督较少时，冻结 EEG 与文本编码器并仅训练桥接模块，可能减少对齐引起的表征退化。可复用的是冻结双端与几何保持评估思路，需改造的是 EEG 时序输入、语义配对和桥接约束；低信噪比、跨被试与通道差异也可能使原有几何包含干扰，限制该假设。一个可证伪的小实验是在固定配对数据量与跨被试划分下，对比冻结桥接与微调，同时考察下游任务指标及表征几何变化。已有 EEG 相关工作尚未检索确认。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。