跳到正文
OpenReview · State space models· Muhammed Öz; Nicholas Kiefer; Charlotte Debus; Jasmin Hörter; Achim Streit; Markus Götz·· 2024-01-01精选AI 评分74

通过神经元移植进行模型融合

Model Fusion via Neuron Transplantation

AI 导读

基于摘要分析。本文研究如何降低神经网络集成带来的内存与推理时间开销,提出模型融合方法 Neuron Transplantation(NT):剪除不重要的神经元以腾出空间,再将各集成成员中的重要神经元移入融合模型,随后通过微调恢复性能。 核心机制不是对齐后直接平均模型参数,而是在神经元层面筛选和组合各成员的信息。摘要还指出,NT 支持在一个组合模型中对所有集成成员进行联合剪枝与联合训练;神经元重要性的计算方式、连接权重的处理、容量分配和训练目标尚未验证。 作者报告,移植后的初始性能下降可通过微调较快恢复,融合模型持续优于相同容量与架构的单个集成成员。相对 Optimal-Transport-fusion,作者报告 NT 所需微调更少、融合过程更快且内存需求更低,最终性能相当或更好。摘要未提供数据集、任务、划分协议、指标或具体数值,因而不能据此判断收益幅度与适用边界。实验协议、消融及统计信息尚未验证。摘要提供了代码链接,但实现与复现条件尚未核查。 平台推测(待验证):若多个 EEG 分类模型结构兼容且学习到了互补特征,NT 或可用于压缩集成、降低部署开销;该假设依赖可比较的神经元重要性及可用的微调数据。可复用部分是重要性筛选、剪枝和移植流程,需改造或核查 EEG 模型中的通道映射、时序特征连接及归一化状态。低信噪比、小数据和跨被试分布差异可能使重要性估计不稳定,并使微调过拟合。一个可检验的小实验是在固定跨被试划分下,以相同架构的多个 EEG 模型为成员,对比单模型、原始集成、NT 与 OT-fusion,统一微调数据及预算,记录同一分类指标、推理延迟和内存占用。已有 EEG 相关工作尚未检索确认,不能将原领域结果视为 BCI 有效性证据。

阅读价值

值得核对 NT 如何通过剪枝与神经元移植保留集成成员的互补信息,以及其相对 Optimal-Transport-fusion 的融合与微调成本优势;摘要尚不足以确认这些优势能否迁移至 EEG 模型。

来源:OpenReview · State space models · openreview.net