DVTR-KD：通过中间视觉 token 重建蒸馏视觉语言模型

基于摘要分析。本文研究多模态大语言模型（MLLMs）在视觉 token 压缩后如何进行知识蒸馏：教师与学生的视觉 token 数量不同，使直接逐 token 知识迁移变得困难。作者提出 DVTR-KD，以学生的压缩视觉 token 重建教师的密集视觉 token，旨在兼顾任务表现与压缩带来的推理效率。 核心机制是在最终 LLM 层之后，以及一个被识别为对视觉信息读出重要的中间层输入处，重建视觉状态。中间层重建由教师的响应预测提供监督，而不是直接采用逐 token KL 或 MSE 匹配；辅助 attention-readout 损失进一步对齐学生与原始教师在预测响应时整合上下文信息的方式。摘要未说明重建模块结构、中间层选择方法、损失具体形式及权重。 作者报告，在多个基准上的评估表明，DVTR-KD 改善了视觉 token 压缩学生的表现，同时保留压缩带来的推理效率。摘要未提供基准名称、教师与学生配置、压缩比例、评估指标或具体数值，因此尚不能量化性能与效率的权衡；实验协议、消融及统计信息尚未验证，代码与复现资源也尚未确认。 平台推测（待验证）：若 EEG 模型采用时间或通道 token 压缩，且具有可用于蒸馏的高容量教师及一致的任务输出，则可能借鉴“从压缩表征重建密集表征、通过任务输出约束重建”的机制。可复用的是重建与输出监督思路，需改造 token 的时空对应、重建器和读出对齐方式；视觉语言响应监督不能直接视为 EEG 解码监督。低信噪比、跨被试差异、通道配置变化及小数据可能使重建偏向噪声或教师的被试特异表征。一个可检验的小实验是在固定 EEG 数据划分、教师和学生压缩预算下，对比仅输出蒸馏与加入重建监督，分别考察被试内、跨被试表现及推理成本。已有 EEG 相关工作尚未检索确认，这不是原论文已验证的贡献。