跳到正文
OpenReview · Representation learning· Luis Armando Pérez Rey; Giovanni Luca Marchetti; Danica Kragic; Dmitri Jarnikov; Mike Holenderski·· 2023-01-01精选AI 评分78

存在稳定子时的等变表示学习

Equivariant Representation Learning in the Presence of Stabilizers

AI 导读

基于摘要分析。本文研究数据具有非平凡对称性、群作用并非自由作用时的等变表示学习,提出 Equivariant Isomorphic Networks(EquIN)。其主要贡献是将稳定子纳入表示学习,使方法能够处理某些非单位群变换仍保持样本不变的情形。 方法以群论中的轨道—稳定子定理为理论基础。稳定子描述保持某个样本不变的群元素,而轨道描述该样本经群作用可达的集合。作者给出的理论结论是:在理想学习器条件下,仅依靠等变性训练即可推断同构表示,从而提取数据的几何结构。这一结论不能直接等同于有限数据、有限模型容量下的实际训练保证;具体表示参数化、损失形式及优化条件尚未验证。 作者报告,在具有旋转对称性的图像数据集上,考虑稳定子能够改善表示质量。摘要未提供数据集名称、数据划分、对照方法、评价指标或具体数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务中能够定义既保留标签语义、又具有明确稳定子的群作用,EquIN 的机制可能用于建模相应对称性;但 EEG 的通道置换、空间旋转或时间平移并不天然满足这些条件。可复用的是群作用与稳定子的表示思想,需改造的是 EEG 变换定义及其训练约束;低信噪比、跨被试差异、通道布局变化和小样本可能使稳定子难以辨识。一个可证伪的小实验是在具有已知群作用和稳定子的合成多通道信号上,对照考虑与不考虑稳定子的表示学习,检验其等变性与任务信息保留情况,再评估是否值得扩展至真实 EEG。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其如何利用轨道—稳定子定理处理非自由群作用下的等变表示,但摘要中的理论保证针对理想学习器,图像实验结论及向 EEG 的适用性仍需分别核验。

来源:OpenReview · Representation learning · openreview.net