基于空间专家混合的 LLM 参数高效微调

基于摘要分析。本文研究 LLM 参数高效微调（PEFT）中的几何表示问题，提出同时利用多种几何空间的 MoS（Mixture of Space）框架，并据此构建 MoSELoRA，以异构几何专家扩展 Low-Rank Adaptation（LoRA），使模型能够根据输入选择或组合不同几何空间。 作者认为，现有 PEFT 方法主要在欧氏空间中运行，而单一流形即使具有可学习曲率，也可能限制表示能力。摘要以适合层级结构的双曲几何、适合环状模式的球面流形说明多种空间的动机，但没有明确列出 MoSELoRA 实际采用的全部专家类型。方法另引入轻量投影机制，以降低频繁流形映射的计算开销，并分析曲率优化对训练稳定性和性能的影响；专家选择机制、投影公式、曲率参数化及训练目标尚未验证。 作者报告，MoSELoRA 在多个基准上持续优于强基线，但摘要未提供基准名称、任务、数据划分、指标、数值或资源开销，不能据此判断收益幅度及比较条件。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可检验的迁移假设是，多几何空间的低秩适配可能适用于已有 EEG 预训练编码器，但原文研究对象是 LLM，并未提供 EEG 或 BCI 证据。可复用的候选模块是异构几何专家与轻量投影，需改造输入表示及适配模块接入方式；所需监督和数据规模仍不明确。EEG 的低信噪比、跨被试差异、通道变化及小样本可能导致专家选择不稳定或过拟合。一个小规模检验是在固定 EEG 编码器和同一跨被试划分下，以匹配的可训练参数预算比较普通 LoRA 与多几何专家适配，同时记录任务指标、训练稳定性和计算开销。已有 EEG 相关工作尚未检索确认。