OpenReview · State space models· Idan Kashani; Avi Mendelson; Yaniv Nemcovsky·· 2025-12-31精选AI 评分74
在提示语义任务空间中表示 LLM
Representing LLMs in Prompt Semantic Task Space
AI 导读
基于摘要分析。本文研究如何在持续扩大的预训练模型库中,为给定任务选择合适的 LLM;核心贡献是提出免训练的表示方法,将 LLM 表示为提示语义任务空间中的线性算子,以支持成功预测与模型选择。 方法机制:作者通过闭式计算几何性质构建模型表示,意在使模型的表示与提示所表达的任务语义处于同一空间。相较于需要学习表示、并在加入模型或数据集时重新训练的方法,该方案旨在降低更新成本,并增强表示的可解释性。摘要未说明提示语义空间如何构造、线性算子如何估计,以及需要何种模型输出或任务评估数据,因此“免训练”不能直接理解为无需采集数据或调用模型。 结果与证据:作者报告,在成功预测和模型选择任务上取得具有竞争力或达到 SOTA 的结果,并强调样本外场景的表现。摘要未提供数据集、模型范围、评价指标、对照基线或具体数值;“样本外”究竟指未见提示、任务、模型还是数据集,尚未验证。作者关于可扩展性与实时适应性的主张,也需要结合计算成本及模型库更新协议核对。 适用边界:原论文的主要研究对象是 LLM 的任务能力表示与选择,而非 EEG 或 BCI 解码。现有摘要不足以建立提示语义空间与神经信号任务之间的具体机制对应,故不推导 BCI 有效性或复现实验建议。全文中的空间构造、算子估计、实验协议、消融及统计信息尚未验证。
阅读价值
值得核对其免训练的线性算子表示如何支持新增 LLM 与数据集的模型选择,尤其是样本外评估中的泛化能力及闭式计算的实际成本。
来源:OpenReview · State space models · openreview.net