OpenReview · Representation learning· Johannes Schmidt-Hieber·· 2020-01-01精选AI 评分80
重新审视 Kolmogorov-Arnold 表示定理
The Kolmogorov-Arnold representation theorem revisited
AI 导读
基于摘要分析。本文研究 Kolmogorov-Arnold 表示定理能否解释神经网络为何需要多于一个隐藏层,并提出修改后的函数表示,使被表示函数的光滑性能够传递到外层函数,同时适于由 ReLU 网络近似。研究对象是多元函数表示与神经网络逼近理论,而非 EEG/BCI 解码。 经典 Kolmogorov-Arnold 表示将多元函数分解为内层函数和外层函数,形式上类似具有两个隐藏层的神经网络。但作者指出,这种对应存在重要差异:外层函数依赖于被表示函数,即使目标函数光滑,外层函数仍可能剧烈变化,因此不能仅凭组合形式解释网络结构。 作者报告,修改后的表示能够将目标函数的光滑性传递至外层函数,并可由 ReLU 网络良好近似。作者据此提出,相较于两个隐藏层,更自然的解释是深层神经网络:其中大部分层用于近似内层函数。这是摘要给出的理论解释,不是对某种训练算法或特定任务性能的实证结论。具体函数类别、正则性条件、逼近误差界,以及深度与宽度的依赖关系尚未验证,需阅读全文核对。 该摘要未提供面向神经信号的数据结构、监督条件或具体算法实现,尚不足以形成有依据的 EEG 迁移方案。已有 EEG 相关工作尚未检索确认,不能由一般函数逼近结论推出低信噪比、小样本或跨被试条件下的有效性。实验协议、消融及统计信息尚未验证。
阅读价值
值得阅读的是其对 Kolmogorov-Arnold 表示中外层函数光滑性的修正,以及由此对网络深度作用的理论解释;这不等同于对 EEG/BCI 性能的验证。
来源:OpenReview · Representation learning · openreview.net