跳到正文
OpenReview · Representation learning· Puoya Tabaghi; Yusu Wang·· 2023-01-01精选AI 评分81

向量与张量上置换不变函数的通用表示

Universal Representation of Permutation-Invariant Functions on Vectors and Tensors

AI 导读

基于摘要分析。本文研究可变大小多重集上的置换不变函数,核心贡献是强化 Deep Sets 类求和分解模型的通用表示保证,并将分析扩展到可辨识张量上的置换不变函数。 机制与理论结果:sum-decomposable 模型通过对各元素编码后求和,再由解码器得到集合输出。摘要指出,既有 Deep Sets 对大小至多为 N、元素为 D 维向量的有限多重集,提供潜在维度为 O(N^D) 的连续函数通用逼近结果。作者报告,本文在 O(N^D) 潜在维度下证明了连续及不连续多重集函数的通用表示,需注意“通用表示”与“通用逼近”并非同一结论。 作者进一步引入可通过 identifier function 唯一标记元素的“可辨识”多重集,并指出有限精度向量具有该性质。作者报告,基于这一分析,针对一般连续多重集函数的求和分解模型仅需 2DN 维潜在空间,且编码器与解码器均可保持连续;该连续性保证是摘要强调的主要贡献。具体定义、定理适用域与证明条件尚需全文核对,不能将该维度界无条件外推。对张量的扩展同样依赖可辨识性,并采用专门的求和分解结构;摘要提及序列、图像与图任务,但未提供具体实验结果,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 通道及其位置等元数据共同编码为集合元素,该机制可能用于处理通道输入顺序变化及可变通道数;这是假设,不是论文已验证的 BCI 贡献。可复用的是逐元素编码、求和聚合与解码结构,需改造的是时间信息、通道身份及空间关系的表达。仅对通道数值求和聚合可能丢失空间关系,低信噪比、跨被试差异及小数据也可能使理论表达能力无法转化为泛化收益。可在固定被试划分和训练预算下,对比带通道元数据的求和聚合模型与固定通道顺序基线,分别测试顺序置换和通道缺失;前者检验结构不变性,后者检验尚无理论保证的鲁棒性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其可辨识多重集假设下的潜在维度界及编码器、解码器连续性保证,这些理论条件有助于判断 sum-decomposable 模型处理可变规模集合输入的适用范围,但不构成 EEG/BCI 有效性的证据。

来源:OpenReview · Representation learning · openreview.net