分割计算头网络的联邦蒸馏与无监督个性化

1. 17:57
   arXiv · 学习目标与优化精选

   通过联邦学习实现分割计算中头网络的无监督个性化

   基于摘要分析。本文研究移动设备与服务器之间的分割计算（Split Computing，SC）：如何在设备端标注数据不足、数据非 IID 且不宜集中汇集的条件下，训练替代原始头网络的轻量网络。作者提出结合联邦学习、知识蒸馏和个性化的训练方法，利用移动设备上的少量无标签数据降低端侧计算与通信需求。 原问题中，神经网络被拆分为设备端头网络与服务器端尾网络；替换头网络需要兼顾资源约束及后续推理性能。所提方法旨在不暴露训练数据集的情况下完成训练，并通过个性化改善准确率。摘要未说明蒸馏目标、教师模型配置、个性化参数范围、联邦聚合方式及头尾网络适配细节；不汇集原始数据也不等于已验证模型更新的隐私安全性。 作者报告，在仅对所提方法施加数据约束的实验比较中，其 Accuracy 与基线相当；相对原始模型，移动设备通信需求降低 95%，Accuracy 下降 3–5 个百分点。摘要还称个性化可使准确率达到或超过现有方法，但未给出各项结果对应的数据集、数据量、划分、基线及通信统计口径，因此这些结果的适用范围、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能对应移动 EEG 推理中端侧资源受限、跨被试数据异质及标签稀缺的问题。可复用思路是联邦蒸馏与设备端个性化，需改造 EEG 头网络、蒸馏表示及其与尾网络的接口；原方法依赖何种教师监督与数据规模尚未验证。低信噪比、通道配置差异及单被试小数据可能使蒸馏目标不可靠或个性化过拟合。一个可证伪的小实验是在固定 EEG 任务和 Cross-subject 划分下，仅使用目标被试无标签训练数据，对照共享轻量头网络与个性化头网络，并在隔离的目标被试测试数据上同时测量 Accuracy 和端侧通信量。已有 EEG 相关工作尚未检索确认。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。