#Compression

学习记忆：面向紧凑循环神经网络的记忆保持蒸馏

基于摘要分析。该研究针对时间序列循环神经网络在资源受限设备上的部署问题，提出 Memory-Discrepancy Knowledge Distillation（MemKD），通过蒸馏教师与学生在子序列上的记忆保持行为，训练更紧凑的学生模型。 核心机制：作者认为，源自计算机视觉任务的常规 Knowledge Distillation（KD）方法不足以刻画时间序列特有的时间依赖与记忆保持特征。MemKD 使用专门的损失函数捕捉教师与学生跨子序列的记忆保持差异，以促使学生模仿教师行为。摘要未给出“记忆保持”的数学定义、子序列构造方式、损失形式及其与其他训练目标的组合，因此尚不能判断该目标具体约束哪些模型状态或输出。 结果与证据：作者报告，在扩展的时间序列基准实验中，MemKD 优于所比较的先进 KD 方法，并可在多种压缩程度下匹配教师性能，同时减少参数量与内存使用，而准确率无显著损失。摘要未提供基准名称、划分协议、基线配置、压缩比例、指标数值或统计依据；这些结论的适用范围尚未验证。作者还称提供了额外实验与深入理论分析，具体内容需全文核对。参数与内存减少也不能直接等同于真实设备上的延迟或能耗降低。 平台推测（待验证）：迁移假设是，若 EEG 任务依赖跨时间窗的动态信息，记忆保持蒸馏可能有助于压缩用于可穿戴 BCI 的循环模型。可复用部分是教师—学生蒸馏框架；需适配 EEG 的时间尺度、采样率、通道组织及任务监督。低信噪比可能使学生复制教师的噪声响应，跨被试差异与通道变化可能削弱记忆对齐，小数据也可能使教师行为不稳定。一个可证伪的小实验是在固定 EEG 数据划分、相同教师和学生架构及训练预算下，对比普通 KD 与 MemKD，检验任务指标与实际推理内存，并核对收益是否依赖子序列长度。该实验只是迁移建议，不是论文已有结果；相关 EEG 工作尚未检索确认。实验协议、消融及统计信息尚未验证。