确定性视图的学习几何
The Learning Geometry of Deterministic Views
基于摘要分析。研究关注一个消融解释问题:由同一观测确定性生成的额外视图虽不增加信息,却可能改变模型预测,因此多视图增益未必能直接归因于表示。作者针对满秩固定线性视图、可训练线性分支及分支求和后接共享接收模块的结构,刻画了视图对学习规则的影响。 核心机制是视图矩阵 A 的框架算子 S=AᵀA:它对有效 SGD 更新起预条件作用,并决定分支正则化诱导的范数。作者指出,两套视图系统对任意损失产生相同更新,当且仅当其 S 相同;在初始化匹配时,相同 S 的系统在 SGD 及具有标量线性优化器状态的更新下(包括动量)沿相同轨迹演化。经典 Parseval 变换 AS^(-1/2) 因而可构造相对于仅使用原始观测模型的中性对照。 作者报告,实验中不同但具有相同 S 的框架精确匹配,而仅具有相同迹的框架仍可能产生差异。一个多尺度框架使 Sleep-EDF 和 ISRUC 上按被试平均的 NLL 分别变化 +0.0338 和 −0.1215,Parseval 化后两项差异均被消除;独立选择训练调度后,Sleep-EDF 上仍有 +0.0999 的差异,95% CI 为 [0.0673, 0.1285]。摘要未提供对应数据划分、比较基线细节及置信区间构造方法,不能据此开展跨协议比较。作者还报告,AdamW 和分支内非线性会破坏所测试的等价关系。 平台推测(待验证):对 EEG 确定性多尺度线性视图,该机制可用于检验性能差异是否来自优化几何,而非新增信息。可复用框架算子匹配与 Parseval 对照,但需满足固定线性视图、线性分支和适配优化器等条件;低信噪比、小数据及跨被试通道差异可能影响实际收益。小规模检验可在同一 EEG 划分、匹配初始化与 SGD 下比较原始观测、原多视图及 Parseval 化视图,核对更新轨迹与 NLL。已有 EEG 相关工作尚未检索确认;全文实验协议、消融及统计信息尚未验证。
该研究为确定性多视图消融提供了可核对的几何控制量与 Parseval 对照,有助于区分表示变化和优化规则变化,但结论依赖线性分支及优化器条件。
来源:OpenReview · Representation learning · openreview.net