睡眠:深度主动推断中的模型约简
Sleep: Model Reduction in Deep Active Inference
基于摘要分析。本文研究实现主动推断框架的神经网络如何进行模型约简,提出先以高维潜在空间初始化网络、再逐步裁剪潜在维度的方法。作者报告,在摘要所述实验中,降低潜在空间维度可减少复杂度,而不增加自由能;具体任务、评估协议与量化结果尚未验证。 研究动机来自主动推断对睡眠的解释:在缺少感觉信息时,通过降低复杂度与自由能实现模型调整。论文的主要贡献是面向人工神经网络的潜在空间约简方法,而不是睡眠 EEG 分析或 BCI 解码。摘要描述的裁剪对象是潜在维度,不能据此等同于权重剪枝,也不能推断其已降低实际计算开销。自由能的具体定义、复杂度项与整体目标的关系、维度选择准则、裁剪时机及后续优化流程均尚未验证。 平台推测(待验证):若 EEG 生成式模型采用可裁剪的潜在表示及主动推断目标,这一机制可能用于检验冗余潜在维度是否增加模型复杂度。可复用的是“高维初始化—维度裁剪”的思路;需适配 EEG 观测模型,并核对其监督方式、数据结构与训练规模要求。低信噪比、跨被试差异、通道变化及小数据条件下,裁剪可能误删承载弱任务信号的维度。一个可检验的小实验是在固定 EEG 任务与被试划分下,对照高维模型、直接训练的低维模型和裁剪模型,同时评估自由能、复杂度及任务指标,检验目标函数保持是否伴随解码性能保持。这是迁移假设,并非本文已验证结果;已有 EEG 相关工作尚未检索确认。 全文未取得,实验协议、消融及统计信息尚未验证;复现前需核对模型实现、裁剪规则、数据与对照设置。
值得阅读的具体原因是其将主动推断中的复杂度控制落实为潜在空间维度裁剪,并报告裁剪未增加自由能;这一结论的适用条件及向 EEG 模型迁移的有效性尚未验证。
来源:OpenReview · State space models · openreview.net