跳到正文
OpenReview · State space models· Huan Kang; Hui Li; Tianyang Xu; Tao Zhou; Xiaojun Wu; Josef Kittler·· 2026-05-01精选AI 评分70

红外与可见光图像的文本驱动融合:在双曲空间中实现图像场景适应

Text-Driven Fusion for Infrared and Visible Images: Achieving Image Scene Adaptation on Hyperbolic Space

AI 导读

基于摘要分析。本文研究红外与可见光图像融合,提出结合文本引导与双曲流形学习的框架,旨在同时保留模态互补信息和由粗到细的语义层级。其主要贡献是训练时利用文本建立视觉属性先验,推理时仅依赖输入图像完成内容适应,无需额外文本输入;研究对象不是 EEG 或 BCI。 机制上,训练阶段由 BLIP 提取的文本提示充当双曲空间中的拓扑锚点,通过双曲嵌入引导视觉—属性对齐。作者认为,欧氏空间中的距离约束会扭曲跨模态交互及父子语义层级,而 Poincaré ball 的负曲率与指数体积增长有利于容纳层级树和不同语义粒度。作者进一步主张,空间外围的容量有助于减少融合过程中的纹理失真;这些几何解释与实际性能之间的因果关系仍需核对正文证据。摘要未说明具体损失、曲率设置、融合模块或文本先验的实现方式。 作者报告,该方法在基准数据集上优于现有先进方法,并提供了代码地址;但摘要未列出数据集名称、划分、对照方法及指标数值,因此无法判断优势幅度和适用场景。实验协议、消融及统计信息尚未验证,复现时需核对文本锚点、双曲几何与模型容量各自的贡献,以及推理期无文本条件的具体实现。 平台推测(待验证):可探索的是层级语义约束下的多模态表征,而非直接将图像融合结果视为 BCI 证据。若将该机制用于 EEG 与其他模态的融合,需具备可靠的配对数据和层级标签或文本描述,并改造视觉编码与属性对齐模块;低信噪比、跨被试差异和小数据可能使文本先验压过真实神经信号。一个可检验的小实验是在固定跨被试划分和编码器容量下,对比欧氏与双曲表征,并加入打乱文本锚点对照,检验层级对齐是否提供独立增益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是以训练期文本锚点组织双曲语义层级、推理期无需文本的融合机制,但其性能优势与几何机制的独立贡献尚需结合全文验证。

来源:OpenReview · State space models · openreview.net