跳到正文
OpenReview · Representation learning·· 29 天前精选AI 评分72

面向鲁棒城市表征的不确定性感知多模态融合

Uncertainty-Aware Multimodal Fusion for Robust Urban Representation

AI 导读

基于摘要分析。本文研究城市区域表征中的多模态观测可靠性问题,提出不确定性感知框架 URGE:同时表示每种模态提供的区域语义及其确定程度,降低质量或覆盖不均的观测对跨视图学习和融合表征的干扰。 核心机制包括三个部分:Pairwise Gaussian Agreement 根据不确定性评估跨视图语义兼容性,不要求不同模态具有相同的不确定性水平;细粒度 token 级融合将不确定性引入模态间语义交互;Relative Fusion Robustness 通过受控证据退化与反事实融合,鼓励模型在融合过程中实际利用不确定性。相较摘要所述的跨视图对齐或自适应融合方法,其主要区别在于显式建模可靠性,并对可靠性如何影响融合施加约束。具体概率参数化、目标函数和退化操作尚未验证。 作者报告,在覆盖多个城市及下游任务的真实城市基准上,URGE 获得了更有效的区域表征,并在多模态证据退化时保持更强鲁棒性。摘要未提供数据集名称、划分、基线、指标或数值,不能据此判断收益幅度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其跨领域迁移假设是,以不确定性调节多模态语义交互,可能缓解 EEG 与其他同步模态质量不一致造成的融合失真。可考虑复用可靠性感知融合与证据退化约束,但城市区域的多视图组织方式需要改造为时间对齐的神经信号片段及配套模态,监督需求和训练规模尚需核对。低信噪比、跨被试偏移、通道变化及小数据可能使不确定性估计失准,将有效但较弱的 EEG 证据误判为不可靠。一个可检验的小实验是在固定跨被试划分下,对测试集单一模态施加分级噪声或通道缺失,比较相同编码器下普通融合与不确定性感知融合的任务表现和退化曲线。该实验仅为迁移假设检验,并非论文已验证结果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 URGE 如何通过受控证据退化与反事实融合约束不确定性的实际用途,而非仅预测不确定性;其对 EEG 多模态融合的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net