跳到正文
OpenReview · Representation learning· Yue Wang; Lu Zhang; Pingping Zhang; Yunzhi Zhuge; Junfeng Wu; Hong Yu; Huchuan Lu·· 2024-01-01精选AI 评分72

通过 Transformer 学习局部—全局表征用于基于涂鸦标注的 RGB-D 显著性目标检测

Learning Local-Global Representation for Scribble-Based RGB-D Salient Object Detection via Transformer

AI 导读

基于摘要分析。本文研究基于涂鸦标注的 RGB-D 显著性目标检测(SOD),提出结合多尺度、多模态信息的局部—全局表征学习框架,旨在缓解稀疏标注和局部特征难以覆盖完整目标上下文、导致杂乱区域预测不准确的问题。研究对象是 RGB 图像与深度图中的显著目标,并非 EEG 或 BCI。 框架包含三个模块:Local Representation Aggregation(LRA)整合从 RGB 图像和深度图提取的多尺度、多模态局部表征;Global Representation Initialization(GRI)学习图像间及图像内表征,从不同角度捕获显著区域的全局上下文;Dual Transformer Decoder(DTD)通过双 Transformer 架构交替更新局部与全局表征。其方法重点是在不完整涂鸦监督下补充全局上下文,而非仅依靠语义、边缘或结构损失区分前景与背景;具体损失、训练流程和交替更新实现尚未验证。 作者报告,在六个 benchmark 上,该方法相较现有基于涂鸦标注的 RGB-D SOD 方法表现有利,并可与全监督方法竞争。摘要未提供 benchmark 名称、数据划分、指标数值及具体对照配置,因此不能量化优势,也不能据此认定其达到全监督性能。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是,以全局上下文补充稀疏监督下的局部表征;其原始实现依赖配对 RGB—深度输入和图像空间结构,不能直接用于 EEG。若用于稀疏标注 EEG 事件识别,需将局部聚合改为时段与通道特征建模,并重新定义跨样本全局关联;低信噪比、跨被试差异、通道布局变化和小数据可能使全局关联捕获伪相关。一个可证伪的小实验是在固定跨被试划分与相同标注预算下,对比局部基线和加入全局交互的模型,检验收益是否在不同标注稀疏程度下保持。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其在稀疏涂鸦监督下联合建模多模态局部特征与图像内、图像间全局上下文的机制,但性能优势的具体评估协议及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net