跳到正文
OpenReview · State space models·· 2026-05-25精选AI 评分76

对齐查询空间:用于语言模型数据选择的贪心信息投影

Aligning the Query Space: Greedy Information Projection for Language Model Data Selection

AI 导读

基于摘要分析。本文研究语言模型的数据选择,提出 Greedy Information Projection(GIP):不直接将样本质量与多样性作为两个独立目标,而是选择能够保留下游指令、任务信号或检索需求所诱导查询空间的数据。 机制上,GIP 只需候选样本嵌入和评分信号;评分可来自 LLM 判断、元数据或内在几何结构。算法以贪心方式选择嵌入张成空间能够解释任务/查询评分最大残差成分的样本,形成 matching-pursuit 式选择器。作者通过高斯投影视角,将该更新联系到互信息最大化,等价表述为最小化所选数据尚未解释的查询子空间残余体积,并据此解释质量与多样性如何由同一目标产生。该联系的具体假设、推导及计算复杂度尚未验证。 作者报告,在指令与推理任务中,以小规模子集微调可达到或超过全量数据微调的表现;预训练和 RAG 段落选择实验也支持这一残差原则在监督微调之外的适用性。摘要未给出数据集、子集比例、评价指标或具体数值,实验协议、消融及统计信息尚未验证,暂不能判断收益对嵌入质量、评分来源和任务分布的敏感程度。 平台推测(待验证):其可迁移假设是,若 EEG 候选片段的嵌入与任务评分能够表达目标任务结构,残差驱动选择或可用于有限标注预算下的数据筛选;这并非作者已验证的 EEG/BCI 结果。可复用的是贪心残差选择原则,需改造的是 EEG 表征与评分信号。低信噪比可能使选择偏向伪迹,跨被试与通道差异可能主导嵌入几何,小数据下评分也可能不稳定。一个可检验的小实验是在固定跨被试划分与相同标注预算下,仅从训练集选择样本,对照随机选择和单纯评分排序,比较目标任务表现及选择稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其将数据质量与多样性统一为查询空间保留目标的选择机制,但性能优势及向 EEG 数据选择的迁移价值尚需核对实验协议并独立验证。

来源:OpenReview · State space models · openreview.net