跳到正文
OpenReview · Representation learning· Zeyang Zhang; Yidong Chen; Changle Zhou·· 2024-01-01精选AI 评分74

自增长二值激活网络:一种具有动态架构的新型深度学习模型

Self-Growing Binary Activation Network: A Novel Deep Learning Model With Dynamic Architecture

AI 导读

基于摘要分析。该研究针对全连接网络(FCN)架构依赖人工设计、可能出现性能下降或参数冗余的问题,提出 self-growing binary activation network(SGBAN),通过渐进扩展网络来适应分类任务,并探索其增量学习能力。原研究对象是通用分类与增量学习,而非 EEG 或 BCI。 核心机制是基于函数保持变换扩展架构,使模型在吸收新数据的信息时保留此前学到的知识。作者将这种渐进构建方式与需要训练大量候选网络的神经架构搜索作对比,主张其构建过程更高效;摘要未给出搜索成本或运行时间的量化结果。二值激活的具体定义、扩展触发条件、优化流程与损失形式尚未验证。 作者报告,在 Iris、MNIST、CIFAR-10 和 CIFAR-100 分类实验中,SGBAN 与相同架构的 FCN 取得有竞争力的 Accuracy。在 MNIST 上,相比隐藏单元配置为 500+150 的人工设计 FCN,生成架构的参数量为其 33.44%,Accuracy 提升原文记为“0.59%”;摘要未明确这是相对百分比还是百分点。作者还报告,将训练好的 VGG-19 的全连接层替换为 SGBAN 后,在所述任务中以“少于 1% 的参数”获得略高性能,但参数统计范围及分母尚未验证。在 Disjoint MNIST 和 Disjoint CIFAR-10 的增量学习任务上,作者报告优于 learning without forgetting、elastic weight consolidation 和 gradient episodic memory;具体任务划分、指标、差值、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,函数保持式扩展或可用于 EEG 特征分类器在跨会话新增数据时更新容量,但依赖可用的新数据及相应监督,不能据此视为无标签测试时自适应。可复用部分是分类头扩展机制,需改造信号特征接口与扩展准则;低信噪比、小数据及被试差异可能导致扩展追随噪声。一个可检验的小实验是在固定 EEG 特征和相同跨会话数据顺序下,对比动态扩展与固定容量 FCN,联合记录新旧会话 Accuracy 和参数量。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其函数保持式网络扩展能否同时支持结构压缩与增量学习,尤其是参数量的统计口径及与固定结构 FCN 的对照;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net