KDP:在核空间中简化表征动力学
KDP: Simplifying Representation Dynamics in Kernel Space
基于摘要分析。本文研究大语言模型(LLMs)的层剪枝,提出 Kernelized Dynamics Pruning(KDP),通过在核空间中简化表征动力学来替代并剪除整个层块。其主要研究对象是 LLM 的计算冗余,而非 EEG 或 BCI 信号建模。 方法将 LLM 的前向传播视为离散时间动力系统。针对相邻层表征高度相似的现象,作者推测模型内部动力学进入了具有计算冗余的“慢流形”;这在摘要中属于机制假说,不应视为已确立的解释。KDP 将表征投影到核空间,使其间复杂的非线性变换近似线性化,再用一个简单网络学习逆核变换,从而支持层块剪枝。核函数、近似线性演化的具体实现、逆映射网络及其训练目标尚未验证。 作者报告,理论分析与广泛实验支持 KDP 的有效性,且优于现有剪枝基线;但摘要未提供模型、任务、数据划分、剪枝比例、指标或基线名称,因此尚不能判断其精度—效率权衡。实验协议、消融及统计信息尚未验证;复现还需核对表征采样方式、近似误差、剪枝后训练流程,以及实际时延和内存开销。 平台推测(待验证):若 EEG 深层模型也存在连续层表征冗余,KDP 的动力学简化思路可能用于模型压缩,但不等于已证实的 BCI 收益。其迁移依赖有代表性的逐层激活数据;核空间映射思路可能复用,层块选择和逆映射训练需适配 EEG 架构。低信噪比、被试与通道差异及小数据可能使表征相似性不能代表可安全剪除的冗余。可在固定跨被试划分下,对同一 EEG 模型比较原模型、直接删层与 KDP 式替代的任务表现及实测时延。已有 EEG 相关工作尚未检索确认。
值得核对其如何用核空间中的近似线性动力学替代 LLM 层块,以及逆核映射的额外开销是否抵消剪枝收益;摘要中的效果主张尚待全文实验验证。
来源:OpenReview · State space models · openreview.net