面向开放式生成自一致性的表征空间一致性

基于摘要分析。本文研究 LLM 在代码生成、文本摘要等开放式任务中，如何摆脱答案精确匹配的限制，利用多次采样结果之间的一致性选择输出。作者提出 Embedding-Based Agreement（EBA），通过在嵌入空间中聚类采样生成结果，以无需训练的方式估计其语义一致程度。 核心假设是：语义相容的生成结果会集中于表征空间中的相近区域，因此 self-consistency 可以体现为生成结果的几何组织，而非仅是符号层面的重合。摘要未交代具体嵌入提取方式、聚类算法、聚类结果到最终答案的选择规则，以及距离度量与超参数，这些实现条件尚未验证。 在数学推理、代码生成和文本摘要实验中，作者报告 EBA 持续优于随机选择，相比基于 LLM 评估或不确定性估计的近期选择方法，其随规模变化的表现更稳定。作者还报告，一致性信号在不同模型家族和嵌入空间中保持稳定，包括使用模型自身隐藏表征的情形。摘要未提供数据集、采样预算、具体指标或数值，因而尚不能量化收益或比较计算成本。 作者的分析显示，生成结果在表征空间中的几何位置与质量强相关：靠近中心区域的结果通常更可靠，外围结果的准确性较低。这是作者报告的相关性，不等于中心性可以保证正确；仍需核对系统性错误答案聚集、有效但少见答案位于外围等情形下的适用边界。实验协议、消融及统计信息尚未验证。 研究的主要对象是 LLM 开放式生成结果的选择，而非 EEG 解码或 BCI。材料未提供其与神经信号任务的具体机制对应关系，不能据此推断 BCI 有效性；已有 EEG 相关工作尚未检索确认。