FactTrack:故事大纲中的时间感知世界状态跟踪
FactTrack: Time-Aware World State Tracking in Story Outlines
基于摘要分析。研究针对语言模型生成内容中的事实矛盾,提出 FactTrack,以原子事实及其时间有效区间维护世界状态,并在结构化故事大纲上评估矛盾检测。其核心贡献是允许事实随时间改变,而非将不同时刻的状态差异直接视为矛盾。 方法对每个新事件执行四步更新:将事件分解为具有方向性的原子事实;依据当前世界状态确定各事实的有效区间;检测它们与已有事实的矛盾;加入新事实并更新已有原子事实。摘要未说明方向性事实的具体表示、时间区间的推定规则,以及矛盾判定与状态更新的实现细节,尚不能据此还原完整算法。 在结构化故事大纲的矛盾检测任务中,作者报告,使用 LLaMA2-7B-Chat 的 FactTrack 明显优于同样使用 LLaMA2-7B-Chat、被作者描述为公平对照的基线,且表现与 GPT4 基线相当;使用 GPT4 时,作者报告 FactTrack 显著优于 GPT4 基线。摘要未提供数据集名称、划分、评价指标、具体分数或显著性检验细节,实验协议、消融及统计信息尚未验证。 本文主要研究对象是文本叙事中的事实一致性,不是 EEG/BCI 解码,也不能因来源栏目包含 State space models 就将其视为神经信号状态空间模型。现有材料未建立该事实表示与神经信号建模之间的具体机制对应,因此不据此推断 BCI 有效性或提出迁移实验;相关 EEG 工作尚未检索确认。
值得阅读之处在于将事实的时间有效区间显式纳入矛盾检测,使状态随时间变化与真正的事实冲突得以区分;摘要报告了同一语言模型下的基线对照,但具体效果与评估协议尚待全文核对。
来源:OpenReview · State space models · openreview.net