跳到正文
OpenReview · Representation learning· Jiahao Xia; Wenjian Huang; Min Xu; Jianguo Zhang; Haimin Zhang; Ziyu Sheng; Dong Xu·· 2024-01-01精选AI 评分73

通过双重表示对齐实现无监督部件发现

Unsupervised Part Discovery via Dual Representation Alignment

AI 导读

基于摘要分析。本文研究视觉图像中的无监督物体部件发现,提出通过双重表示对齐学习部件特定注意力,并将得到的部件表示用于预测像素级部件掩码;研究对象是视觉部件表示,而非 EEG 或 BCI。 方法从同一图像生成具有不同几何变换的成对图像,利用 PartFormer 分别提取多个部件表示,再交换成对图像中的部件表示,以增强几何变换不变性。随后,将部件表示与特征图编码器输出对齐,使其与对应部件区域的像素表示具有较高相似度,与无关区域具有较低相似度。对齐过程的中间结果还用于施加几何与语义约束,促使 PartFormer 聚焦局部,并让表示包含对应部件的信息。测试时,对齐后的部件表示作为一组检测器生成像素掩码。 作者报告,在四个常用数据集上的实验显示该方法具有有竞争力的性能与鲁棒性,并将其归因于部件特定注意力。摘要未提供数据集名称、划分、指标数值或对照方法;具体损失形式、训练设置、消融及统计信息尚未验证,无法据此判断各机制的独立收益。 平台推测(待验证):其可借鉴之处是利用变换一致性与局部表示对齐学习结构化表征,但原方法依赖图像中的空间部件、像素特征及几何对应关系。若用于 EEG,需先定义生理意义合理的局部单元与保持任务语义的变换,并改造像素级对齐和掩码输出;低信噪比、跨被试差异及通道布局变化可能破坏对应关系。一个可检验的小实验是在固定 EEG 任务与数据划分下,对比基础自监督编码器与加入局部表示交换、对齐约束的版本,核对收益是否在相同标注预算下成立。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是通过跨几何变换交换部件表示、再与像素特征对齐来学习无监督部件注意力的机制;作者报告其具备有竞争力的部件发现性能与鲁棒性,但具体指标和评估协议尚未验证。

来源:OpenReview · Representation learning · openreview.net