激活空间可选择的 Kolmogorov-Arnold 网络
Activation Space Selectable Kolmogorov-Arnold Networks
基于摘要分析。本文研究通用函数拟合与图像分类中 KAN 使用单一激活函数空间时的跨任务性能变化,提出激活空间可选择的 S-KAN,并扩展为用于图像分类的 S-ConvKAN;主要贡献是让激活模式随数据自适应选择,而非验证 EEG 或 BCI 任务。 机制方面,原文将 KAN 描述为基于非线性加性连接的网络。S-KAN 在前馈 KAN 的各节点自适应选择适合数据的激活模式,试图缓解固定激活空间对不同任务的限制。摘要未说明候选激活空间、选择策略的具体实现、损失函数、训练流程及额外计算开销,这些均尚未验证。 结果方面,作者报告 S-KAN 在七项代表性函数拟合任务上优于基线,并显著超过相同参数量级的 MLP;作者还报告 S-ConvKAN 在四个通用图像分类数据集上取得领先结果。摘要未提供任务与数据集名称、具体指标、数值、数据划分或统计检验,因此不能判断优势幅度,也不能将这些结果外推为 EEG 分类提升。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 特征与目标之间的非线性映射随任务或被试变化,可选择激活空间可能作为分类头的候选机制。可复用的是节点级激活选择思路;需要改造或核对的是 EEG 输入表示、时序与通道信息处理,以及小样本下的选择约束。其原始验证依赖函数拟合与图像分类数据,所需监督及数据规模未明确;低信噪比、小数据和跨被试分布变化可能使选择策略过拟合。一个可检验的小实验是在固定 EEG 特征、相同训练划分和相近参数预算下,对比 MLP、固定激活空间 KAN 与 S-KAN,分别报告被试内和跨被试结果,并仅在训练数据内选择配置。已有相关 EEG 工作尚未检索确认。
值得核对其逐节点激活空间选择机制及相近参数规模下的对照结果,以判断性能改善是否来自可复用的函数表示能力;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net