跳到正文
OpenReview · State space models· Jiwoon Lee; Jaeho Lee·· 2023-11-02精选AI 评分74

Semi-Ensemble:通过过参数化实现模型插值的简单方法

Semi-Ensemble: A Simple Approach Over-parameterize Model Interpolation

AI 导读

基于摘要分析。本文研究两个模型之间的插值,提出 Semi-Ensemble 统一框架,通过不同程度的过参数化连接模型合并与模型集成,使二者成为框架的特殊情形。主要贡献是将插值从原始参数空间转移到更高维的联合参数空间,以调节模型参数量与准确率之间的权衡。 机制上,两个端点模型先被表示为过参数化版本;这些表示投影到由部分基向量张成的低维子空间时,可恢复对应端点模型。作者通过构造联合参数空间实现插值,而非直接对原始模型参数插值。摘要未提供具体构造公式、模型间兼容条件、训练或推理流程,不能据此判断该方法是否需要额外训练。 作者报告,该方法能实现参数总量与模型准确率之间的平滑权衡,并优于已有基线;在部分情形下,Semi-Ensemble 甚至以略少的参数取得比常规集成更好的表现。摘要未给出数据集、模型架构、基线名称、数值结果及比较协议,实验协议、消融及统计信息尚未验证。复现需进一步核对端点模型的来源与兼容要求、过参数化及插值实现,以及参数量统计和推理成本。 平台推测(待验证):若两个 EEG 解码模型能满足该方法的参数空间兼容条件,这一机制可能用于探索模型合并与集成之间的资源—性能折中,而非直接解决 EEG 的低信噪比或跨被试偏移。可复用部分是联合参数空间及插值机制;需适配的是 EEG 模型结构、端点训练方式和评估协议。假设端点误差具有互补性且插值不破坏有效表征,该方法可能保留部分集成收益;小数据过拟合、被试差异、通道不一致或端点误差高度相关均可能使该假设失败。可在固定通道配置与同一被试内数据划分下,比较两个端点、直接参数插值、常规集成及 Semi-Ensemble 的 Accuracy、参数量与推理延迟,检验其折中是否成立。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其联合参数空间的构造及参数量—准确率对照,因为作者报告 Semi-Ensemble 在部分情形下以略少参数优于常规集成,但其适用条件与 EEG 迁移效果尚未验证。

来源:OpenReview · State space models · openreview.net