Hidden Cartographer:隐藏状态引导的双预算约束指令微调数据选择
Hidden Cartographer: Hidden State Guided Data Selection for Dual Budgeted Instruction Tuning
基于摘要分析。本文研究在专家标注成本高、微调资源有限的条件下,如何从大规模未标注数据池中选择指令微调数据,提出 Hidden Cartographer(HC),分别控制标注预算与最终训练预算。其核心贡献是将隐藏状态引导的候选扩展与基于精确训练动态的子集筛选串联,而非将标注集合直接作为最终训练集合。 第一阶段 Progressive Candidate Expansion 使用代理迭代筛选未标注候选并交由专家标注,将新增标注样本合并后重新计算训练动态、更新代理,直至耗尽标注预算。第二阶段 Exact Cartography Pruning 根据已标注候选的精确训练动态得分排序,在最终训练预算内保留紧凑子集。摘要将依赖标签的方法在使用伪标签时可能出现选择偏差,以及传统主动学习未显式刻画指令微调动态,作为方法动机;代理如何由隐藏状态构建、动态得分如何定义尚未验证。 作者报告,在医疗、法律和金融领域实验中,HC 的平均 Accuracy 高于所比较的预算约束基线,标注量仅占原始数据池的 20–30%,最终微调数据量占原始数据池的 10–15%。摘要未提供具体 Accuracy、数据集、模型规模、划分方式或各基线预算配置,不能据此判断提升幅度及跨设置稳定性。 复现需核对代理训练与更新成本、训练动态计算方式、专家标注流程,以及不同方法是否采用一致的标注和训练预算口径;实验协议、消融及统计信息尚未验证。该研究的主要对象是领域 LLM 指令微调,摘要未提供 EEG 或 BCI 实验,不能将其数据效率结论视为神经信号任务中的已验证效果。
值得关注其将专家标注预算与最终训练预算分开建模、并结合隐藏状态代理与精确训练动态进行两阶段筛选的机制,但收益幅度、代理可靠性及额外计算成本仍需全文核对。
来源:arXiv · 学习目标与优化 · arxiv.org