用于跨模态少样本分割的视觉记忆与文本对齐

基于摘要分析。本文研究专门领域中的少样本图像分割，针对 SAM 3 的语义提示与视觉表征对齐不足，提出 ViTA-SAM，将支持样本视觉记忆、文本语义先验和跨模态对齐结合，用有限标注指导查询图像分割。 核心机制包括：将支持样本特征及对应掩码编码为视觉记忆，为查询预测提供支持样本感知的视觉指导；利用 SAM 3 的文本编码器提取语义特征；通过跨模态对齐模块，以记忆增强后的视觉表征为条件调整文本特征，使预测更贴合图像内容。此外，框架使用预测的查询掩码更新记忆，进行伪标签细化和查询自适应表征学习。具体训练目标、更新时机、伪标签筛选机制及训练与推理边界尚未验证。 作者报告，在多个基准的比较实验中，ViTA-SAM 总体表现最佳，平均 mIoU 较最强对照方法提升超过 5%；摘要未明确该表述指相对提升还是百分点差异。基准名称、支持样本数量、划分协议、对照配置、消融及统计信息尚未验证，因此不能据此判断优势是否稳定来自跨模态对齐或记忆更新。 平台推测（待验证）：若 EEG 任务具备时频图、区域掩码和有意义的文本描述，可假设其支持样本记忆与条件化文本机制适用于少样本区域分割，但这不等同于已验证的 EEG 分类或 BCI 解码能力。迁移需改造输入表征、区域标注与语义提示；低信噪比、跨被试及通道差异可能削弱记忆匹配，伪标签更新也可能累积错误。一个小规模可证伪实验是在固定跨被试划分与标注预算下，对比仅视觉记忆、加入文本对齐及进一步加入伪标签更新的区域分割表现。已有 EEG 相关工作尚未检索确认。