J-space 引导的语言模型压缩结构搜索

基于摘要分析。该研究面向语言模型结构化剪枝：相同容量的通道组可能保留不同的语义内容，仅优化容量分配不足以决定应保留哪些具体通道。作者提出 candidate-dynamic J-space structural search，将语义掩码表征、容量与具体掩码的联合优化、代理辅助评估结合起来，用于在精确参数预算下选择剪枝结构。 核心机制包括三部分。首先，冻结的 Jacobian lens 分别分解稠密模型与剪枝候选的激活，以观察稀疏语义支撑的变化，而不是把稠密模型的支撑固定施加给所有候选。其次，混合离散表示同时描述组件容量和具体掩码，并通过二阶补偿调整保留权重。最后，在线代理筛选值得进行完整模型评估的结构，根据实测行为与语义漂移更新 Pareto 档案；代理预测并不被当作已观测性能。 作者报告：在 Qwen3.5-4B 上移除 11.84% 的参数后，两个选定结构在八个基准上的按问题加权 Accuracy，分别比等参数量的非 J-space 结构参考高 1.10 和 1.19 个百分点，WikiText-2 困惑度也略低。作者称这些结构接近常规容量分配参考的表现，但 CommonsenseQA、SciQ 和 COPA 上存在任务依赖的权衡，不能据此概括为所有任务均受益。 当前证据支持将语义信息作为结构搜索信号进一步考察，但完全匹配搜索计算量后的优势仍未解决。Jacobian lens 的具体构建、语义支撑定义、代理训练细节、评估划分、消融及统计信息尚未验证；复现还需核对搜索预算、候选评估次数与二阶补偿的计算成本。 平台推测（待验证）：若已有可剪枝的 EEG 解码模型及足够校准数据，可检验“等容量通道组包含不同任务信息”这一假设。可复用容量—掩码联合搜索与实测档案更新，但语义表征和补偿机制需适配 EEG 激活及任务监督。低信噪比、小样本、通道差异与跨被试漂移可能使局部测量不稳定。一个小实验是在固定被试内划分、相同参数预算及搜索计算预算下，对比信息引导搜索与非信息引导搜索，并检查性能变化的重复性。原论文并非 EEG/BCI 验证，相关已有工作尚未检索确认。