跳到正文
OpenReview · Representation learning· Haoyang Cheng; Hongliang Li; Heqian Qiu; Qingbo Wu; Xiaoliang Zhang; Fanman Meng; King Ngi Ngan·· 2023-01-01精选AI 评分74

通过多维关系对齐进行无监督视觉表征学习

Unsupervised Visual Representation Learning via Multi-Dimensional Relationship Alignment

AI 导读

基于摘要分析。本文研究无监督视觉表征学习中实例判别与实例间自然相似性的冲突,提出 Relationship Alignment(RA),要求当前批次实例的不同增强视图与其他实例保持一致的关系;进一步提出 Multi-Dimensional Relationship Alignment(MDRA),在多个低维子空间中分别探索和对齐关系。 核心机制是将关系探索与关系对齐分为交替优化的两个步骤,并引入均衡约束以避免退化解,通过 expansion handler 在实践中近似满足该约束。MDRA 将最终高维特征空间分解为若干低维子空间的笛卡尔积,在各子空间分别执行 RA。摘要未给出关系的具体定义、损失公式、子空间划分方式及 expansion handler 的实现细节,尚不能判断各模块的独立作用。 作者报告,该方法在多个自监督学习基准上相较常用对比学习方法取得一致提升;在 ImageNet 线性评估协议下,RA 获得提升,MDRA 在 RA 基础上进一步改善。摘要未提供具体数值、基线名称或完整训练配置,因此无法量化收益或核对其“最佳表现”的比较范围。实验协议、消融及统计信息尚未验证。材料仅称代码将于近期发布,当前可用性尚未验证。 平台推测(待验证):迁移假设是,EEG 自监督学习中的不同片段也可能具有共享状态,逐实例区分可能排斥有用的相似关系。可考虑复用关系探索与对齐框架,但需将视觉增强替换为保持目标神经信息的 EEG 增强,并核对批次构成与子空间划分是否适用。低信噪比、跨被试差异、通道配置差异和小数据可能使关系主要反映噪声或被试身份,而非任务状态。一个可证伪的小实验是在固定 EEG 数据划分、编码器、增强及训练预算下,对比原始对比学习、加入 RA、加入 MDRA 的线性评估结果,并单独检查跨被试表现。已有 EEG 相关工作尚未检索确认,视觉领域结果不构成 BCI 有效性的证据。

阅读价值

值得核对其以关系一致性缓解实例判别与自然相似性冲突的机制,尤其是均衡约束及子空间分解的独立贡献;其 EEG 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net