跳到正文
OpenReview · Representation learning· Jiahao Xia; Wenjian Huang; Min Xu; Jianguo Zhang; Haimin Zhang; Ziyu Sheng; Dong Xu·· 2024-01-01精选AI 评分73

通过双重表征对齐实现无监督部件发现

Unsupervised Part Discovery via Dual Representation Alignment

AI 导读

基于摘要分析。该研究面向视觉图像中的无监督部件发现,提出通过部件表征与像素表征对齐来学习部件特异性注意力,并将学得的部件表征用于预测部件像素掩码。主要研究对象是物体的局部组成,而非 EEG 或 BCI 信号。 方法首先对同一图像施加不同几何变换,构造成对视图,再通过 PartFormer 提取多个部件表征。两个视图之间交换部件表征,以增强其对几何变换的不变性;随后将部件表征与特征图编码器输出对齐,使其与对应部件区域的像素表征具有较高相似度,与无关区域具有较低相似度。方法还利用对齐过程的中间结果施加几何与语义约束,促使 PartFormer 关注局部区域,并让各部件表征包含相应部件的信息。测试时,对齐后的部件表征充当检测器,输出部件像素掩码。具体损失形式、约束实现与训练配置尚未验证。 作者报告,在四个常用数据集上开展的实验显示,该方法具有竞争力的部件发现性能与鲁棒性,并将其归因于部件特异性注意力。摘要未提供数据集名称、划分、指标、数值或对照方法,尚不能据此判断提升幅度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是利用配对视图与局部表征对齐,为 EEG 学习时空局部结构,而非直接复用视觉部件掩码任务。这依赖于存在保留任务语义的视图变换,以及跨视图可对应的局部结构;需将图像编码和像素对齐改为适合 EEG 时序与通道拓扑的模块,并重新定义几何、语义约束。EEG 的低信噪比、通道差异、跨被试非平稳性和小数据条件,均可能导致局部表征不稳定或对齐噪声。一个可检验的小实验是在固定跨被试划分与相同编码器下,对比加入和不加入局部表征交换及对齐的自监督训练,检验其是否改善同一下游任务指标,同时核对增强是否保留任务信息。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何通过跨几何变换的部件表征交换与像素级对齐,在无部件标签条件下学习局部注意力;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net