跳到正文
OpenReview · State space models· Nabarun Goswami; Yusuke Mukuta; Tatsuya Harada·· 2025-05-04精选AI 评分73

HyperVQ:基于 MLR 的双曲空间向量量化

HyperVQ: MLR-based Vector Quantization in Hyperbolic Space

AI 导读

基于摘要分析。本文面向视觉与听觉等连续输入的离散 token 化问题,提出 HyperVQ,将向量量化(VQ)表述为双曲空间中的 Multinomial Logistic Regression(MLR,多项逻辑回归),旨在缓解码本坍塌并改善聚类分离度;其主要研究对象是通用连续数据表征,而非 EEG 或 BCI。 传统 VQVAE 通过在欧氏空间中聚类嵌入,将连续输入转换为离散 token。作者认为,欧氏空间的多项式体积增长限制了嵌入的空间利用与簇间分离,并可能伴随仅少量码本向量被有效使用的码本坍塌。HyperVQ 利用双曲空间的指数体积增长构建量化机制,并以双曲决策超平面的几何代表表示码本向量,以促进解耦且稳健的潜在表征。摘要未给出具体损失、曲率设置、量化分配规则或训练流程,这些实现条件尚未验证。 作者报告,在所评估的生成与重建任务上,HyperVQ 与传统 VQ 表现相当,而在判别性能、码本效率和表征解耦方面更优。摘要未提供数据集、数据划分、对照实现、指标定义或数值,因此尚不能判断优势的大小及适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 的离散 token 学习存在码本利用不足,该方法可能提供替代量化模块。此假设依赖连续 EEG 嵌入是否具有适合双曲几何的结构;可复用的是 MLR 量化与码本表示,需改造的是 EEG 编码器及相应训练目标。低信噪比、跨被试差异、通道配置变化和小数据条件可能使几何分离对应噪声或被试身份,而非任务信息。一个可检验的小实验是在固定 EEG 编码器、码本规模及训练预算下,对比欧氏 VQ 与 HyperVQ,按预先固定的 Cross-subject 划分评估码本使用分布、重建误差和下游任务指标。该实验仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将向量量化改写为双曲空间 MLR 的机制,以及码本利用率与判别性能之间的关系;作者报告的优势及其对 EEG 离散表征的适用性仍需分别验证。

来源:OpenReview · State space models · openreview.net