跳到正文
OpenReview · Representation learning· Masanori Koyama; Kenji Fukumizu; Kohei Hayashi; Takeru Miyato·· 2024-01-16精选AI 评分78

Neural Fourier Transform:等变表示学习的通用方法

Neural Fourier Transform: A General Approach to Equivariant Representation Learning

AI 导读

基于摘要分析。本文研究如何在不显式知道群如何作用于数据的情况下学习等变表示,提出 Neural Fourier Transform(NFT),用于学习群在潜在表示空间中的线性作用。其主要研究对象是通用对称性与表示学习,并非 EEG 或 BCI。 机制与理论:不同于依赖特定架构及数据形式假设的等变学习路径,NFT 将学习目标指向潜在空间中的群线性作用。作者给出的理论结论是:线性等变特征的存在性,等价于数据空间上群不变核的存在性。这一联系为分析何时能够构造线性等变表示提供了理论切入点;但“不显式知道群如何作用于数据”不等于完全不需要群知识、变换关系或其他监督,具体依赖尚需核对全文。 实验与证据边界:作者报告在对作用群具有不同程度先验知识的典型情境下进行了应用实验。摘要未提供任务、数据集、划分、对照方法或定量指标,因此尚不能判断效果大小及适用范围;模型结构、损失、训练流程、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若某类 EEG 扰动能够合理建模为群作用,NFT 的潜在线性作用学习可能用于研究该扰动下的等变表示。可复用的是等变表示与群不变核的理论视角,需要改造的是 EEG 变换定义、输入表征及监督关系;不能直接将跨被试或跨会话差异视为群作用。低信噪比、通道缺失和小数据可能妨碍稳定估计,标签语义也未必在所选变换下保持不变。一个可证伪的小实验是在固定被试内划分下,对具有明确定义且标签保持条件可核对的时间平移,比较 NFT 与普通编码器的等变误差及下游任务表现,再单独检验噪声敏感性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于将线性等变特征的存在性与数据空间上的群不变核联系起来,并探索不显式预设群如何作用于数据的表示学习框架;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net