跳到正文
OpenReview · State space models· Chang Xu; Qingwu Li; Xiongbiao Jiang; Dabing Yu; Yaqin Zhou·· 2023-01-01精选AI 评分72

用于电力场景 RGB-Thermal 语义分割的双空间图交互网络

Dual-Space Graph-Based Interaction Network for RGB-Thermal Semantic Segmentation in Electric Power Scene

AI 导读

基于摘要分析。本文针对高压输电线路与变电站场景中光照不足、遮挡及复杂环境导致的电力设备识别困难,提出 Dual-Space Graph-based Interaction Network(DSGBINet),融合 RGB 与热成像信息进行全天候语义分割。研究对象是电力巡检图像,而非 EEG 或 BCI。 核心机制:两个架构相同、彼此独立的骨干网络分别提取模态特异性特征,随后通过坐标空间中的长程关系融合高层特征;再将规则网格上的多模态特征聚类并分配至特征空间的图顶点,利用跨图与图内区域关系进行推理和增强,以提取语义上下文。解码阶段采用多任务学习,协同完成边缘检测与语义分割,针对设备尺度差异及热成像固有特性改善分割。具体骨干、聚类规则、图构建方式、损失与任务权重尚未验证。 实验与证据:作者报告,在其提出的两个 RGB-T 语义分割数据集上开展了对比与消融实验,支持方法的有效性和鲁棒性,并通过公共数据集上的扩展实验报告方法优势。摘要未提供数据集名称、规模、划分、指标数值或具体基线,因此不能量化提升或判断不同协议下的可比性;实验协议、消融及统计信息尚未验证。作者表示将发布数据与代码,当前发布状态尚未验证。 平台推测(待验证):若 EEG 与另一同步模态具有可定义的对应关系,双空间交互可作为多模态融合假设:复用模态独立编码和图间交互思路,将像素坐标与区域聚类改造为通道—时间位置及信号特征分组。它依赖可靠的跨模态同步和具有意义的节点构建;低信噪比、通道差异、跨被试分布变化及小数据可能使聚类和长程关系不稳定,图像边缘辅助任务也不能直接照搬。可在固定跨被试划分下,将简单特征融合与双空间图交互进行小规模对照,并分别移除两类交互,检验收益是否稳定。该假设不代表已证实的 BCI 效果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其坐标空间与特征空间的双重图交互如何改善 RGB-T 融合,以及边缘检测辅助解码的独立贡献;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net