ICL-Router:用于 LLM 路由的上下文学习模型表示
ICL-Router: In-Context Learned Model Representations for LLM Routing
基于摘要分析。该研究针对 LLM 路由中的候选模型能力表示与新增模型扩展问题,提出 ICL-Router,以 in-context vectors 表示模型能力,并预测各候选模型能否正确回答新查询;研究对象是 LLM 查询路由,而非 EEG 解码或 BCI。 方法分为两阶段。第一阶段将查询嵌入并投影为向量,联合训练投影器与基于 LLM 的路由器,以重构原始查询,使向量表示与路由器的语义空间对齐。第二阶段在一组查询上评测各候选模型,并让路由器依据查询及模型表现的上下文向量,学习预测模型对新查询的回答正确性。摘要未说明具体损失形式、能力表示的聚合方式,以及最终选模是否考虑推理成本。 作者报告,该方法在分布内与分布外任务上取得最先进的路由性能,并可在不重训路由器的情况下接入新模型。这些结果对应的候选模型池、数据集、任务划分、对照基线、指标及数值均未在摘要中提供,实验协议、消融及统计信息尚未验证。新增模型仍需何种能力评测、多少查询及多大计算开销,也需全文核对;无需重训路由器不等于无需新增模型评测。 摘要提供了代码仓库,但实现完整性与复现条件尚未验证。其机制依赖查询语义表示及候选模型在查询集上的正确性反馈,目前没有足够材料建立与 EEG 信号建模瓶颈的具体对应关系,不据此推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。
值得核对其以查询及模型表现的上下文向量表示候选模型能力、无需重训路由器即可接入新模型的机制,但摘要不足以验证性能优势及接入成本。
来源:OpenReview · State space models · openreview.net