跳到正文
OpenReview · Representation learning· Liu Liu; Hairong Qi·· 2018-01-01精选AI 评分73

判别式跨视图二值表示学习

Discriminative Cross-View Binary Representation Learning

AI 导读

基于摘要分析。本文研究大规模多媒体数据的紧凑表示,提出 Discriminative Cross-View Hashing(DCVH),通过利用不同视图中的判别信息,端到端学习保留语义的二值表示,服务于跨视图检索、图像到图像检索及图像标注任务;主要研究对象是图像与文本,而非 EEG 或 BCI。 机制上,DCVH 为图像和文本同时采用基于 CNN 的非线性哈希函数与多标签分类。作者提出使用 Direct Binary Embedding(DBE)层,在训练期间实现连续松弛而不使用显式量化损失;另通过最小化 Hamming 距离对齐视图,并以逐位 XOR 运算高效实现。相较于摘要所述的既有方法侧重各视图内部相似性、再由跨视图相似性连接,DCVH 强调不同视图的判别信息及多任务二值表示。具体网络结构、目标函数组合、DBE 的实现及训练与推理流程尚未验证。 作者报告,在两个图像—文本基准数据集上,DCVH 优于所比较的跨视图哈希和单视图图像哈希算法,并在图像标注任务上取得有竞争力的表现。摘要未提供数据集名称、划分、指标、数值及具体基线,实验协议、消融及统计信息尚未验证,因此不能量化优势或判断其适用边界。 平台推测(待验证):若具备配对 EEG 与任务文本、图像刺激等跨模态数据,以及可共享的多标签语义监督,可假设将判别式二值表示与视图对齐用于 EEG 跨模态检索。可复用的候选机制是 DBE 与 Hamming 距离对齐;EEG 编码器、标签定义和配对策略需改造。低信噪比、被试差异、通道变化及小数据可能使二值化丢失细微信息,或使语义对齐难以泛化。一个可证伪的小实验是固定 EEG 编码器与跨被试划分,对比连续表示、加入 DBE、以及进一步加入视图对齐的检索表现,检验压缩后的语义保持是否成立。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性证据。

阅读价值

值得核对 DCVH 如何以 Direct Binary Embedding 和 Hamming 距离对齐兼顾二值表示的判别性与跨视图一致性,但摘要中的性能优势及其向 EEG 场景迁移的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net