HydraLLM：面向弹性文本与视觉语言模型的自适应宽度切片

基于摘要分析。该研究面向 LLMs 与 LVLMs 在异构硬件上的部署问题，提出基于 MQA 的弹性架构 HydraLLM，使同一组参数能够支持不同计算量、延迟和模型大小目标，而不必始终运行全宽模型。 核心机制是以激活的注意力头数量控制嵌入、注意力投影、前馈层及输出头的有效宽度，形成嵌套子网络。作者提出从预训练检查点进行静态到弹性转换的流程，包括基于重要性的权重重排，以及结合知识蒸馏的随机子网络训练。面向视觉语言推理，弹性投影模块的输出宽度随文本模型的激活宽度变化。相较仅调整 FFN 的弹性架构，该设计旨在覆盖更广的激活参数配置范围。 作者报告：激活 75% 注意力头时，HydraLLM 的 TriviaQA Accuracy 比一个参数量多 17.25% 的先进嵌套基线配置高 2.2 个百分点；激活 50% 注意力头时，其多模态模型的 CLIPScore 与规模为其 7 倍的 Gemma 3 4B 相当；激活 25% 注意力头时，token 生成吞吐量较自身全宽配置提高 75.3%。这些结果分别涉及问答准确率、多模态评分和生成吞吐量，不能相互替代；具体模型配置、评估划分、硬件、批量大小及生成设置尚未验证，消融及统计信息亦尚未验证。 平台推测（待验证）：若 EEG 文本或视觉语言解码系统采用具有相应结构的预训练语言模型，该机制可能用于研究边缘部署中的精度—资源权衡；这只是下游生成模块的压缩假设，并非 EEG 表征或解码能力的改进证据。权重重排与蒸馏流程可能复用，但神经信号投影接口及任务监督需另行适配，小数据、低信噪比和跨被试变化可能使窄子网络更易丢失任务信息。一个可检验的小实验是在固定被试划分与硬件条件下，对比同一 EEG 条件生成系统的全宽与不同激活宽度配置，同时测量任务质量、延迟和显存。已有 EEG 相关工作尚未检索确认。