面向序贯学习的神经网络函数空间参数化
Function-space Parameterization of Neural Networks for Sequential Learning
基于摘要分析。本文研究序贯学习中梯度式深度学习难以纳入新数据并保留既有知识的问题,提出通过双重参数化将神经网络从权重空间转换到函数空间的方法,旨在结合神经网络处理丰富输入的能力与函数空间方法的更新和知识保留优势。 核心机制:摘要以 Gaussian processes 为参照,指出其虽适合处理上述问题,但在大规模数据和图像等丰富输入上存在困难。作者提出的参数化支持通过稀疏化扩展函数空间方法,在历史数据访问受限时保留先前知识,并提供无需重新训练即可纳入新数据的机制。双重表示的具体构造、稀疏化对象、更新公式,以及“无需重新训练”适用的条件尚未验证。 结果与证据:作者报告,实验展示了持续学习中的知识保留能力与高效纳入新数据的能力,并展示了不确定性量化及引导基于模型的 RL 探索方面的优势。摘要未提供数据集、任务划分、对照基线或量化指标,实验协议、消融及统计信息尚未验证。摘要称项目网站提供进一步信息与代码,但当前材料未提供该网站地址或实现细节。 平台推测(待验证):假设函数空间更新能保留有用的历史约束,该机制可能对应 EEG 跨会话增量校准中的旧知识遗忘问题。可考虑复用双重参数化与稀疏更新机制,但需适配 EEG 输入表示,并核对其是否依赖新样本标签、历史样本或其他存储状态。低信噪比、通道变化和跨被试分布偏移可能使历史约束失效,小数据也可能影响不确定性估计。一个可检验的小实验是在固定通道的 EEG 分类任务中按会话顺序更新,在相同新数据监督和历史存储预算下,与权重空间微调比较新会话 Accuracy、旧会话 Accuracy 保留及更新耗时;这一建议不是论文已验证的 EEG 结果。已有 EEG 相关工作尚未检索确认。
值得阅读其通过双重参数化将神经网络转为函数空间表示的机制,重点核对有限历史数据访问下的知识保留与无需重新训练的数据更新条件;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net