利用含噪长描述监督改进城市影像的区域表征学习
Improving Region Representation Learning from Urban Imagery with Noisy Long-Caption Supervision
基于摘要分析。本文研究城市影像的区域表征学习,目标是从影像及 LLM 生成的描述中提取城市潜在的社会经济与环境特征。作者提出预训练框架 UrbanLN,针对长描述与细粒度视觉特征难以对齐、生成描述噪声影响知识融合这两个问题,结合长文本感知与噪声抑制机制。 技术上,UrbanLN 引入保留信息的拉伸插值策略,以对齐长描述与复杂城市场景中的细粒度视觉语义;摘要未说明插值具体作用于何种表示,以及如何保持信息。噪声处理分为两个层面:数据层面通过多模型协作流程自动生成多样且可靠的描述,无需人工干预;模型层面通过基于动量的自蒸馏产生稳定伪目标,支持含噪条件下的跨模态学习。描述可靠性如何判定、伪目标如何构造以及具体损失形式尚未验证。 作者报告,在四个真实城市及多种下游任务上,UrbanLN 表现优于比较方法;摘要未提供城市名称、任务定义、指标数值、对照方法及数据划分,因此尚不能判断收益幅度,也不能将多城市实验直接视为跨城市泛化证据。实验协议、消融及统计信息尚未验证。 该研究的主要对象是城市影像与文本,而非 EEG 或 BCI。当前材料未建立城市视觉—文本监督与神经信号学习之间的具体对应关系,因此不据此推断 BCI 有效性,也不提出迁移复现实验。
值得关注的是 UrbanLN 将长文本与细粒度视觉语义对齐、描述生成端降噪及动量自蒸馏结合,但其各模块的独立收益与跨城市泛化能力仍需全文实验核验。
来源:OpenReview · Representation learning · openreview.net