在提示语义任务空间中表示 LLM
Representing LLMs in Prompt Semantic Task Space
基于摘要分析。本文研究预训练 LLM 数量不断增加时,如何为给定任务选择合适模型的问题,提出将 LLM 表示为提示语义任务空间中的线性算子,以无需训练的方式构建可解释的模型表示,用于成功预测与模型选择。 核心机制是通过几何属性的闭式计算建立模型表示,而非另行训练表示模型。作者指出,既有方法在扩展至新增模型和数据集时可能面临可扩展性限制与重训练成本,且不同表示空间不易解释;本文试图在提示的语义任务空间内表达模型能力,使表示与任务之间的关系更便于理解。摘要未说明提示语义表示的来源、线性算子的构建公式、所需模型输出或评估数据,因此“无需训练”不能直接理解为无需模型调用、监督信息或前期计算。 作者报告,该方法在成功预测和模型选择任务上取得具有竞争力或达到当前最佳水平的结果,并在样本外场景中表现突出;同时声称能够支持模型库动态扩展时的实时适配。摘要未提供数据集、模型范围、指标、数值、对照基线或样本外划分定义,尚不能确定样本外具体指未见提示、任务、模型还是数据集,也无法核对扩展成本。实验协议、消融及统计信息尚未验证。 本文的主要研究对象是 LLM 表示与选择,而非 EEG 解码或 BCI。材料未建立提示语义任务空间与神经信号任务之间的具体机制对应,不能据此宣称对跨被试、跨会话或小样本 EEG 有效,也不据此提出 BCI 复现实验。进一步评估应先核对线性表示的适用条件、成功预测所需的信息以及新增模型和任务时的计算流程;已有 EEG 相关工作尚未检索确认。
值得核对其如何以无需训练的线性算子表示支持动态模型库中的成功预测与模型选择,尤其是样本外评估协议、表示构建成本及相对基线的表现。
来源:OpenReview · State space models · openreview.net