跳到正文
OpenReview · Representation learning· Peihao Wang; Shenghao Yang; Shu Li; Zhangyang Wang; Pan Li·· 2024-01-16精选AI 评分83

具有高维特征的集合表示:多项式宽度已足够

Polynomial Width is Sufficient for Set Representation with High-dimensional Features

AI 导读

基于摘要分析。本文研究 DeepSets 表示高维特征集合时,潜在空间维度 L 如何影响表达能力,核心贡献是为两种集合元素嵌入层给出关于集合大小 N 与特征维度 D 的多项式宽度充分界。 DeepSets 将每个集合元素映射到 L 维潜在空间,经求和池化形成整个集合的表示,再映射到输出,从而建模输入顺序不影响结果的归纳偏置。摘要指出,既有分析或将高维特征简化为一维,或受限于复解析激活函数,并可能得到随 N、D 指数增长的宽度要求。本文考察 linear + power activation(LP)与 linear + exponential activations(LE)两种嵌入层。作者报告,两者在 L 为 poly(N, D) 时均足以实现所研究的集合表示,并给出 LP 嵌入层的 L 下界;结果还扩展至置换等变集合函数与复数域。具体多项式阶数、上下界间距、函数范围及证明条件尚未验证,不能将宽度充分性理解为优化效率、数值稳定性或实际泛化性能的保证。 平台推测(待验证):若把 EEG 通道表示为带有电极位置或身份特征的元素集合,置换不变聚合可能用于处理通道输入顺序变化;可复用逐元素嵌入与求和聚合,但必须保留空间身份信息,并另行建模时间结构。其依赖前提是任务适合这种集合表示;低信噪比、小样本及跨被试差异可能使理论表达能力难以转化为收益,幂或指数激活的数值稳定性也需检验。可在固定被试划分和时间编码器下,小规模比较 LP、LE 与常用嵌入的不同宽度,检查通道重排一致性及任务指标。已有 EEG 相关工作尚未检索确认;上述仅为机制迁移假设,不是论文已验证的 BCI 贡献。全文中的实验协议、消融及统计信息尚未验证。

阅读价值

该研究给出了高维集合表示中 DeepSets 潜在维度的多项式充分界,值得核对其表达能力成立的函数范围、假设及 LP 下界,但该理论结论不直接保证训练可行性或 EEG 任务效果。

来源:OpenReview · Representation learning · openreview.net