归一化耦合了目标函数所分离的部分:群复合网络中的表示选择
Normalization Couples What the Objective Separates: Representation Selection in Group Composition Networks
基于摘要分析。本文研究归一化网络最终选择哪种表示,能否通过对候选表示分别评分来预测。研究对象是有限群乘法表上的两层二次网络,候选表示为实 Fourier 扇区;核心贡献是刻画独立评分何时能恢复主导阶表示选择,以及归一化如何引入目标函数表面上没有的跨扇区耦合。 在小 logit 尺度下,主导阶目标不含跨扇区项,但球面投影乘子依赖所有扇区项之和。论文限定的 sector-local 规则可读取当前扇区的 Fourier 系数及所有扇区逐层的幅值,却不能读取其他扇区的符号、相位或矩阵方向。联合输入球面的度量权重为 ω,输出球面权重为 1,普通归一化对应 ω=1。 作者报告:对至少包含三个非平凡实 Fourier 扇区的群,sector-local 规则几乎处处恢复主导阶选择器,当且仅当 ω=2,即与次数匹配的权重;其他固定权重下,均匀初始化时此类可测规则的错误率均有严格正的下界。证明利用一个在两次起点均不获胜的第三扇区:反射其输出块即可切换两个竞争扇区的胜者,而这两个扇区可读取的输入保持不变。 作者还报告,在普通归一化、固定群及有限宽度下,对几乎所有初始化,精确交叉熵动力学的无限时间端点标签在尺度趋零时继承主导阶标签。但在宽度为 1、存在三个不同非平凡实线性特征标时,即使 ω=2,充分小的正尺度下精确交叉熵的最优 sector-local 错误率仍为正,只随尺度趋零而消失。 在两比特 XOR、普通归一化的采样实验中,作者报告一个简单 sector-local 规则的错误率为 1.7%;联合归一化与分别归一化的主导阶选择器具有相同标签频率,但在配对初始化中约有 18% 的标签不一致。这区分了总体频率一致、逐初始化预测一致及独立表示竞争。采样规模、误差估计、完整实验协议及证明细节尚未验证;摘要未提供 EEG/BCI 验证,不应将这些理论结果表述为神经信号解码收益。
该研究以有限群上的可分析模型区分目标函数的扇区可分性与归一化动力学的耦合,值得关注其对独立表示评分规则适用边界的刻画,但结论尚不能直接外推至 EEG/BCI。
来源:OpenReview · Representation learning · openreview.net