跳到正文
OpenReview · State space models·· 27 天前精选AI 评分74

无须权重的权重空间学习:利用神经算子进行模型编辑

Weight-Space Learning Without Weights: Leveraging Neural Operators for Model Editing

AI 导读

该研究探讨如何编辑表示连续信号的神经网络:变换应作用于离散信号、网络权重,还是网络编码的函数?作者将编辑表述为算子学习问题,以旋转 MNIST 的隐式神经表示和为谐振子 neural ODE 引入阻尼为例,对比神经算子、权重空间方法及离散信号方法。以下基于摘要分析,未取得论文全文。 核心动机是:同一函数可由不同网络参数表示,直接处理权重会遇到表示非唯一性;直接处理离散信号则可能依赖采样网格分辨率。论文采用神经算子学习函数层面的变换,其中固定角度旋转实验使用 Fourier neural operators。摘要未提供具体网络结构、损失函数、训练样本规模或算子监督的构造方式。 作者报告,在固定角度旋转任务中,该方法在原始网格上具有竞争力,在中间坐标上的表现优于权重空间基线和视觉模型;角度条件化算子可泛化至留出的旋转角度。在谐振子阻尼编辑任务中,作者报告其优于权重空间方法。摘要未给出具体指标、数值和完整对照配置,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移假设是,对以连续函数表示的 EEG 片段,函数层面的变换学习可能降低模型对时间采样网格的依赖;这不等于已解决跨被试或跨设备泛化。可复用的是函数到函数的算子学习思路,需改造 EEG 连续表示、通道坐标及具有生理意义的编辑目标。低信噪比、小样本和通道布局差异可能使表示拟合或算子泛化失败。一个小规模可证伪实验是:固定被试与通道,仅改变测试时间采样网格,对比神经算子与离散信号基线在同一预设变换下的重建误差,以检验网格泛化优势是否存在。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将神经表示编辑转化为算子学习的机制,以及在中间坐标和未见旋转角度上的泛化评估;这些结果尚不能证明其对 EEG 或 BCI 有效。

来源:OpenReview · State space models · openreview.net