跳到正文
OpenReview · Representation learning· Peihao Wang; Shenghao Yang; Shu Li; Zhangyang Wang; Pan Li·· 2023-12-31精选AI 评分82

多项式宽度足以实现高维特征的集合表示

Polynomial Width is Sufficient for Set Representation with High-dimensional Features

AI 导读

基于摘要分析。本文研究 DeepSets 在处理高维特征集合时,潜在表示维度 L 如何影响表达能力,提出 linear + power activation(LP)与 linear + exponential activations(LE)两类元素嵌入层。作者报告,两类嵌入均可在 L 随集合大小 N 和元素特征维度 D 多项式增长时实现充分的集合表示能力,并给出 LP 嵌入层的 L 下界。 DeepSets 先逐元素嵌入,再通过求和池化形成对输入顺序不敏感的整集合表示,最后映射至输出。本文关注的是表示宽度的理论要求,而非新的 EEG 解码方法。摘要指出,既有分析存在将高维特征简化为一维、局限于解析激活函数,或所得宽度随 N、D 指数增长等限制;本文以 LP、LE 两类构造建立多项式充分界,并将结果扩展至置换等变集合函数与复数域。具体多项式阶数、上下界间差距、函数类别、定义域及精确表示或近似表示条件,均需查阅正文确认;训练方法、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 通道及其特征作为集合元素,该理论可能为可变通道输入的集合编码器提供宽度分析参考。可复用部分是逐元素嵌入与求和聚合,但需保留电极位置等空间信息,并确认定理是否覆盖实际特征域和集合大小。低信噪比、小数据以及幂或指数激活的数值稳定性可能使理论表达能力难以转化为可训练性能。一个可检验的小实验是在固定跨被试划分、输入特征和训练预算下,比较 LP、LE 与常规 DeepSets 随 L 变化的解码表现及数值稳定性,并测试通道缺失;该实验仅检验实用性,不构成对理论界的证明。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究为高维元素的 DeepSets 集合表示提供潜在维度的多项式充分界及 LP 嵌入层的下界,值得用于核对集合模型的表达能力与宽度设计依据,但不应将理论充分性直接视为训练效率或 EEG 有效性的证据。

来源:OpenReview · Representation learning · openreview.net