跳到正文
OpenReview · Representation learning· Puoya Tabaghi; Yusu Wang·· 2024-01-01精选AI 评分82

向量与张量上置换不变函数的通用表示

Universal Representation of Permutation-Invariant Functions on Vectors and Tensors

AI 导读

基于摘要分析。本文研究输入大小可变、对元素排列不敏感的多重集函数,核心贡献是加强 Deep Sets 类求和分解模型的通用表示结论,并在可辨识多重集条件下给出更低的潜在维度界及连续性保证;研究对象是通用表示理论,而非 EEG 或 BCI 算法。 作者以元素为 D 维向量、集合大小上限为 N 的有限多重集为对象,区分通用逼近与通用表示:摘要指出,既有 Deep Sets 结果以 O(N^D) 潜在维度实现连续多重集函数的通用逼近;作者报告证明,同阶维度可保证连续及不连续多重集函数的通用表示。随后,论文引入可通过标识函数为元素赋予唯一标签的“可辨识多重集”,并指出有限精度向量满足这一性质。在该分析框架下,作者报告,对一般连续多重集函数,求和分解模型所需潜在维度可降至 2DN,并保证编码器与解码器均连续。上述结论对应的函数类别与条件不同,不能把连续性保证直接推广到不连续目标函数。 作者还将结果扩展到可辨识张量上的置换不变函数,提出相应的特殊求和分解结构,作为序列、图像和图学习网络的设计依据。摘要未给出具体任务实验或性能指标;完整定理的定义域、可辨识条件、构造方式及实验协议、消融与统计信息尚未验证。表示存在性及连续性本身也不能保证有限网络的可训练性、数值稳定性或泛化性能。 平台推测(待验证):若把带通道位置标识的 EEG 特征视为无序集合,求和聚合机制可能用于处理通道输入顺序变化及数量变化;可复用的是集合编码与聚合思路,需要改造的是通道标识、时序特征及解码任务。其可辨识性条件能否在通道缺失、跨被试位置差异和低信噪比下稳定成立,尚不能由该理论推出。可先在固定被试划分下比较求和聚合与固定通道顺序基线,并分别测试仅打乱输入顺序和随机缺失通道,以区分置换不变性与缺失通道鲁棒性;小数据下的过拟合仍需单独评估。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其可辨识性条件下的潜在维度界及编码器、解码器连续性保证,这为理解 Deep Sets 类求和分解模型的表达能力提供了具体理论依据,但不等同于实际学习性能保证。

来源:OpenReview · Representation learning · openreview.net