跳到正文
OpenReview · State space models· Yibo Wang; Guangda Huzhang; Qing-Guo Chen; Zhao Xu; Weihua Luo; Kaifu Zhang; Lijun Zhang·· 2025-09-19精选AI 评分76

SPACE:噪声对比估计稳定大语言模型的自博弈微调

SPACE: Noise Contrastive Estimation Stabilizes Self-Play Fine-Tuning for Large Language Models

AI 导读

基于摘要分析。本文研究大语言模型(LLMs)在真实数据有限时的自博弈微调稳定性,提出 Self-Play via Noise Contrastive Estimation(SPACE),通过区分真实样本与模型自身生成的合成样本来学习真实数据分布。主要研究对象是 LLM 微调,而非 EEG 或 BCI,也不能因来源栏目为 State space models 就将其视为状态空间模型方法。 机制上,自博弈微调迭代使用真实样本及模型生成的合成样本。作者认为,既有方法主要优化两类数据之间的奖励差距,忽略奖励绝对值,目标可能退化并导致不稳定演化。SPACE 将合成样本作为辅助成分,以噪声对比估计构建真实与合成样本的二分类任务,分别优化两类数据的绝对奖励值。摘要未提供具体损失公式、奖励参数化、采样安排或训练流程,这些实现细节尚未验证。 作者报告,理论分析表明 SPACE 目标的最优解与真实数据的潜在分布一致,并可稳定收敛至最优分布;相关结论依赖的分布、模型及优化假设需核对全文。作者还报告,SPACE 在多项 LLM 任务上改善性能,优于使用更多真实样本的监督微调,并较基于奖励差距的自博弈方法表现出更好的效果与稳定性。摘要未列出任务、数据集、模型规模、样本量、评估指标或具体分数,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是,用真实与合成数据的判别目标约束生成式 EEG 数据增强,可能缓解小数据条件下合成分布迭代偏移;这依赖可用的真实 EEG 样本、合成样本及相应生成模型,并不意味着已验证 BCI 分类收益。可复用的是噪声对比目标思路,需改造 EEG 生成模型及信号判别方式。低信噪比、被试差异、通道配置差异可能使判别器依赖伪迹而非任务相关结构,小样本还可能导致过拟合。一个可检验的小实验是固定真实训练集、生成模型和合成样本预算,对照奖励差距目标与 SPACE 式目标,评估迭代稳定性及独立测试集上的任务性能;这只是机制验证建议,已有相关 EEG 工作尚未检索确认。

阅读价值

值得核对 SPACE 如何通过真实与合成样本的二分类目标缓解自博弈微调的不稳定性,尤其是其收敛证明的适用假设及有限真实数据下的对照实验。

来源:OpenReview · State space models · openreview.net