跳到正文
OpenReview · State space models· Rukai Wei; Yu Liu; Jingkuan Song; Yanzhao Xie; Ke Zhou·· 2024-01-01精选AI 评分75

探索双曲空间中的层级信息以用于自监督图像哈希

Exploring Hierarchical Information in Hyperbolic Space for Self-Supervised Image Hashing

AI 导读

基于摘要分析。本文研究自监督图像哈希如何利用图像语义的层级结构,提出 Hierarchical Hyperbolic Contrastive Hashing(HHCH),通过双曲空间嵌入、层级聚类和层级对比学习,使哈希表示保留图像之间的语义关系。主要研究对象是图像检索,并非 EEG 或 BCI。 方法包含三个相互关联的部分:将连续哈希编码嵌入双曲空间,以表达从细粒度图像簇到更一般语义类别的层级关系;将 K-Means 改造为层级双曲 K-Means,自适应构建层级语义结构;通过层级实例级与层级原型级对比学习利用这些结构。作者认为,双曲空间表达层级结构的失真低于超球面或欧氏空间,但具体空间定义、距离函数、损失形式、聚类更新及二值化流程尚未验证。 作者报告,在四个基准数据集上的实验优于所比较的自监督哈希方法。摘要未提供数据集名称、划分、哈希码长度、检索指标、具体分数或基线配置,因此无法判断优势幅度及不同设置下的稳定性。作者提供了代码仓库地址,但实现与运行条件尚未核验;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 表征中存在可稳定识别的多层语义簇,双曲层级聚类与两类对比目标可能用于探索紧凑检索表示。可复用的是层级构建及对比学习机制,需改造信号编码器、增强策略与正负样本构造;其依赖是聚类能够反映目标语义,而非被试、会话或伪迹。低信噪比、小样本及通道差异可能使层级结构不稳定。一个可证伪的小实验是在固定 EEG 编码器与相同数据划分下,对照欧氏平面聚类和双曲层级聚类,核对检索指标及簇的被试依赖性。该假设不代表已证实的 EEG 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 HHCH 将双曲空间中的层级聚类与实例级、原型级对比学习结合,用于自监督图像哈希;其层级结构构建机制可供核对,但摘要不足以验证性能优势或 EEG 迁移价值。

来源:OpenReview · State space models · openreview.net