CoMoE：用于参数高效微调中混合专家的对比表征

基于摘要分析。该研究关注参数高效微调中混合专家（MoE）在异质数据上可能出现的专家知识趋同与容量利用不足问题，提出 CoMoE，通过对比学习促进专家模块化与专门化。其主要研究对象是通用 MoE 微调方法，并非 EEG 或 BCI 系统。 核心机制是在 top-k 路由下，从已激活和未激活的专家中采样，并结合对比目标训练专家。作者称，该目标能够恢复输入与这两类专家之间的互信息差距。摘要未给出互信息差距的具体定义、推导条件、采样规则及损失形式，因此尚不能确认这些设计如何影响路由、训练开销与专家分工。 作者报告，在若干基准及多任务设置中，CoMoE 能持续提升 MoE 的容量利用并促进专家间模块化；摘要未提供基准名称、模型规模、数据划分、对照方法或量化结果。实验协议、消融及统计信息尚未验证，复现所需实现与资源条件也尚未确认。 平台推测（待验证）：若 EEG 预训练模型采用带 top-k 路由的 MoE 参数高效微调，且不同任务、被试或会话构成异质数据，专家趋同可能成为可检验的瓶颈。可考虑复用专家采样与对比约束机制，但需适配 EEG 表征、路由输入及小样本训练条件。低信噪比和通道差异可能使专家按噪声或采集条件而非任务信息分化，过强的专门化也可能损害跨被试泛化。一个小规模检验是在固定骨干、专家数、路由配置及跨被试划分下，对比加入与不加入该目标的微调，联合检查任务指标和专家表征相似度，以验证专家差异化是否伴随泛化改善。以上仅为迁移假设，已有 EEG 相关工作尚未检索确认。