AD-Mamba：面向高效、鲁棒音频分类的架构互补知识蒸馏

基于摘要分析。该研究针对 Mamba 音频分类模型与主流 Transformer 模型之间的性能差距，提出架构互补的多阶段知识蒸馏框架 AD-Mamba，将 CNN 的局部建模能力和 Transformer 的全局上下文建模能力迁移到 Mamba 学生模型，以兼顾音频分类性能与计算效率。 机制上，CNN 引导阶段促使学生适应局部时频结构，Transformer 引导阶段进一步强化全局语义判别与上下文建模。其主要方法价值在于利用不同架构的互补能力组织训练，而非仅依赖 Mamba 的线性序列扩展特性。具体蒸馏损失、教师与学生配置、阶段衔接方式及训练成本尚未验证。 作者报告，在 AudioSet 音频分类评估中，AD-Mamba 以 30M 参数达到 50.3% mean average precision（mAP），并以较低计算成本优于所选 Transformer 和 Mamba 基线。作者还报告，在长音频、信息稀疏及噪声干扰条件下优于所选 CNN 和 Transformer 基线，迁移至 FSD50K、ESC-50 和 DCASE16 时也取得更优表现。摘要未提供具体数据划分、各迁移任务指标及基线配置，实验协议、消融及统计信息尚未验证，不能据此判断提升幅度或跨协议可比性。 平台推测（待验证）：其局部—全局互补蒸馏机制可能对应 EEG 中局部时频模式与长程依赖的联合建模需求，但依赖教师在目标任务上具备可靠且互补的表征，以及足够的蒸馏训练数据。可复用的是分阶段教师引导思路，需改造音频输入表征、EEG 通道组织和任务输出。低信噪比、跨被试差异及小数据可能使教师误差被学生继承。一个可证伪的小实验是在固定跨被试划分和相同学生模型下，对比无蒸馏、单教师蒸馏与互补多阶段蒸馏，同时记录任务指标和推理成本；若互补方案无稳定增益，则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。