跳到正文
OpenReview · Representation learning· Yunhong He; Zhengqing Yuan; Yifeng Xie; Lichao Sun·· 2024-09-25AI 评分57

MLP-KAN:统一深度表征学习与函数学习

MLP-KAN: Unifying Deep Representation and Function Learning

AI 导读

MLP-KAN 研究如何统一深度表征学习与函数学习,以减少用户根据数据集特征手动选择模型的需求;其核心方法是在 Mixture-of-Experts(MoE)架构中整合用于表征学习的 Multi-Layer Perceptrons(MLPs)与用于函数学习的 Kolmogorov-Arnold Networks(KANs)。基于摘要分析,未取得论文全文。 机制方面,作者将该组合嵌入基于 Transformer 的框架,旨在动态适应任务特征。摘要未说明专家路由方式、MLP 与 KAN 的具体连接关系、训练目标或推理流程,因此目前可确认的是统一架构的设计方向,而非具体实现及其有效性。值得核对动态选择是否优于固定组合,以及收益是否来自专家互补而非额外容量或计算。 结果方面,作者报告在跨不同领域的四个常用数据集上进行了评估,并在深度表征学习与函数学习任务中取得有竞争力的表现;摘要未提供数据集名称、划分、对照基线、指标或数值。其适应性与减少人工选择的效果仍需结合正文核验,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 MoE 确能在表征提取与函数拟合之间进行有效分配,可假设其适用于 EEG 解码中不同特征表达与非线性决策需求的协调,但原领域结果不等于 BCI 有效。可复用部分是 MLP/KAN 专家组合思路,需改造 EEG 输入表征及专家路由,并确认其对监督信号与数据规模的依赖。低信噪比、通道差异和小样本可能使路由不稳定或产生过拟合。一个可证伪的小实验是在固定 EEG 任务与相同 Cross-subject 划分下,以相同输入和训练预算比较 MLP、KAN、固定组合与动态 MoE,检验动态路由是否带来稳定收益。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · Representation learning · openreview.net