跳到正文
OpenReview · State space models·· 2026-09-14精选AI 评分76

通过共享基础模型传递学习方向

Communicating Learning Directions Through a Shared Foundation Model

AI 导读

基于摘要分析。本文研究私有客户端数据如何在客户端无法访问大型目标模型的条件下支持模型适配,提出 GradHop:客户端借助较小的共享参考模型提取学习方向,一次性发送给服务器;服务器据此从公共数据仓库检索相关样本,再直接适配目标模型。 核心机制是跨模型重新锚定(cross-model re-grounding):将参考模型空间中的私有数据学习方向,转化为可用于目标模型训练的公共样本,而不要求参考模型与目标模型的参数逐一对应。作者分析了参考空间检索在何种条件下能够找到公共样本,使其目标模型梯度近似无法直接获得的私有数据目标梯度。学习方向的具体表示、检索准则、理论假设和适配训练细节尚未验证。 作者报告,在 Banking77 和 CLINC150 实验中,GradHop 相比未适配模型及仅使用公共数据的替代方法改善了目标模型适配效果,目标空间分析也显示其与私有数据目标梯度的对齐更强;同一份参考侧信息可支持不同目标模型家族的适配。摘要未提供具体指标、数值、数据划分或模型规模,实验协议、消融及统计信息尚未验证。客户端无需接收目标模型,但学习方向是否泄露私有信息、公共仓库覆盖不足时的表现,仍需核对全文。 平台推测(待验证):该机制可能对应跨被试 EEG 适配中“客户端无法部署大型目标模型、服务器无法直接访问私有信号”的约束。可复用的是参考侧方向提取与服务器侧样本检索流程;需改造 EEG 输入表示、通道对齐和公共样本库,并明确其监督依赖。低信噪比、被试差异、通道不一致及私有小数据可能使参考方向无法稳定对应目标梯度。一个可检验的小实验是在固定 Cross-subject 划分和公共样本预算下,以留出被试数据产生参考方向,比较方向检索与随机检索的适配效果,并离线核对目标梯度对齐;原领域结果不构成 BCI 有效性证据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 GradHop 如何以参考模型中的学习方向检索公共样本、实现无需参数逐一对应的目标模型适配,以及其梯度近似条件;摘要中的隐私数据隔离不等同于已验证的隐私保证。

来源:OpenReview · State space models · openreview.net