跳到正文
OpenReview · State space models· Meihao Fan; Xiaoyue Han; Ju Fan; Chengliang Chai; Nan Tang; Guoliang Li; Xiaoyong Du·· 2023-01-01精选AI 评分73

面向实体消解的低成本上下文学习:设计空间探索

Cost-Effective In-Context Learning for Entity Resolution: A Design Space Exploration

AI 导读

基于摘要分析。本文研究实体消解(Entity Resolution,ER)中如何降低大语言模型上下文学习(In-Context Learning,ICL)的调用费用,提出 BATCHER 框架,将示例选择与问题批处理结合,并探索不同设计选择对匹配准确性和费用的影响。研究对象是数据集成中的实体匹配,而非神经信号建模或 BCI 解码。 方法动机是:基于预训练语言模型(PLMs)的 ER 方法通常需要大量带有匹配/不匹配标签的实体对进行微调;LLM 则可利用提示中的少量标注示例执行任务,无需调整模型参数。但若每个待判定实体对都单独附带任务说明与示例,会产生重复的提示开销。BATCHER 从 demonstration selection 和 question batching 两个环节组织批量提示,并提出基于覆盖的示例选择策略,目标是在匹配准确性与货币成本之间取得平衡。摘要未说明覆盖的具体定义、选择算法、批次构造规则或成本计算方式,这些细节尚未验证。 作者报告,在其 ER 实验中,批量提示相较于使用大量标注数据微调的 PLM 方法,以及采用人工设计提示的 LLM 方法,具有较好的成本效益;研究还提供了批量提示设计选择的指导。摘要未给出数据集、模型配置、数据划分、标注预算、匹配指标或费用数值,因此无法核对收益幅度或不同基线的比较条件。实验协议、消融及统计信息尚未验证。 复现时需核对提示模板、示例选择依据、批量大小、输出解析规则,以及模型调用价格与准确性评估口径。现有材料没有建立实体对匹配机制与 EEG/BCI 瓶颈的具体对应关系,不据此提出 BCI 迁移方案;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其如何通过示例选择与问题批处理平衡实体消解的匹配准确性和 LLM 调用费用,但摘要未提供量化结果,也不支持推断其对 EEG/BCI 的有效性。

来源:OpenReview · State space models · openreview.net