多项式宽度足以实现高维特征的集合表示
Polynomial Width is Sufficient for Set Representation with High-dimensional Features
基于摘要分析。本文研究 DeepSets 在处理高维特征集合时,潜在空间维度 L 如何影响表达能力,并提出两种集合元素嵌入层,给出 L 随集合大小 N 与特征维度 D 多项式增长即可满足集合表示需求的理论充分性结果。 DeepSets 的基本机制是先将每个集合元素映射到 L 维潜在空间,再通过求和池化形成整体集合嵌入,最后映射为输出,以实现对输入排列的不变性。作者指出,既有分析或将高维特征简化为一维,或受解析激活函数条件限制,所得维度要求随 N 和 D 指数增长。本文分别研究 linear + power activation(LP)与 logarithm + linear + exponential activations(LLE)两种嵌入方式。作者报告,两者均可在 L = poly(N, D) 时获得充分的集合表示能力,并为 LP 嵌入层给出 L 的下界;结果还扩展至排列等变集合函数与复数域。 该贡献主要是表示能力的理论界限,不能直接解读为任意数据规模下都易于优化或具有良好泛化能力。摘要未给出多项式的具体阶数、上下界间距、定理适用的输入域与函数条件,也未提供经验性能结果;相关证明、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务需要将带有通道身份或空间位置特征的通道观测作为无序集合处理,可复用逐元素嵌入与求和池化机制,但须改造输入编码以保留电极位置及时间结构。原论文依赖集合输入结构,其监督与训练规模条件尚未验证;低信噪比、跨被试分布差异、通道缺失和小样本可能使理论表达能力无法转化为实际性能。一个可检验的小实验是在同一 EEG 任务与固定跨被试划分下,对照常用 DeepSets 嵌入与 LP、LLE 嵌入,扫描潜在维度并测试通道重排、缺失时的任务表现及数值稳定性。已有相关 EEG 工作尚未检索确认。
值得阅读其对 DeepSets 高维集合表示所需潜在维度的多项式充分界及 LP 下界的理论分析,但表示能力结论不等于训练可行性或 EEG 应用效果。
来源:OpenReview · Representation learning · openreview.net