跳到正文
OpenReview · Representation learning· Johannes Schmidt-Hieber·· 2021-01-01精选AI 评分80

Kolmogorov–Arnold 表示定理再探

The Kolmogorov-Arnold representation theorem revisited

AI 导读

基于摘要分析。本文研究 Kolmogorov–Arnold 表示定理能否解释神经网络采用多个隐藏层的问题,核心贡献是修改原有函数表示,使被表示函数的平滑性能够传递至外层函数,并讨论其与深层 ReLU 网络逼近的关系。 原始表示将多元函数分解为内层函数与外层函数,在结构上类似具有两个隐藏层的神经网络,但这种对应存在关键障碍:外层函数依赖于被表示的目标函数,即使目标函数平滑,外层函数仍可能剧烈变化。因此,仅凭形式相似性不足以解释网络深度的作用。 作者报告,所推导的修改表示可将目标函数的平滑性质传递给外层函数,并可由 ReLU 网络良好逼近。作者据此提出,相较于两个隐藏层,更自然的解释是深层神经网络,其中大部分层用于逼近内层函数。这是关于函数表示与网络逼近的理论论述,不应直接理解为某种具体网络在实际任务上的性能优势。平滑性定义、函数类别、逼近误差界,以及网络深度和宽度的依赖关系尚未验证。 本文的主要对象是一般多元函数表示,并非 EEG 解码或 BCI。平台推测(待验证):其潜在关联在于为平滑目标函数的深层网络逼近提供理论分析视角;但摘要未给出与 EEG 数据结构、监督条件或噪声模型的具体对应,尚不足以形成可操作的迁移方案。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是作者通过修改 Kolmogorov–Arnold 表示来处理外层函数的平滑性问题,为理解该表示与深层 ReLU 网络的关系提供理论路径,但具体逼近界与适用条件尚需核对全文。

来源:OpenReview · Representation learning · openreview.net