用于 LLM 评估的保形映射：学习行为感知的指令几何

基于摘要分析。该研究针对 LLM 汇总基准分数掩盖不同指令上成功与失败差异的问题，提出 conformal maps：学习行为感知的指令嵌入空间，将待评估指令与历史模型行为关联，并通过保形预测量化预测不确定性。 核心机制是在保留预训练语义表征作为锚点的同时，优化嵌入空间中的局部支持，使其服务于信息量更高的标签条件保形预测。同一局部支持度量既组织历史成功与失败样本，也定义保形评分，并展示新指令周围的支持证据。其研究重点不只是预测模型能否完成某条指令，还包括解释哪些历史指令提供支持，以及局部行为证据的数量、方向与来源。具体损失形式、邻域构造、语义结构保留方式及校准数据划分尚未验证。 作者报告，在五个 QA 与推理基准、三个目标模型的评估中，学习后的映射形成了可测量的行为组织结构，并能控制预训练结构的保留程度；相较直接使用预训练表征，多数数据集—模型组合的保形单标签预测集比例有所提升，同时维持标签条件覆盖率。该指标反映预测集的信息量，不能直接等同于 Accuracy 提升；摘要未给出具体基准名称、目标模型、覆盖水平、提升幅度或各组合结果。有限样本覆盖保证所依赖的假设，以及实验协议、消融及统计信息尚未验证。 本文主要研究对象是 LLM 指令级评估，材料未提供 EEG 或 BCI 验证，也不足以建立具体迁移机制，因此不据此推断其对神经信号解码的有效性。