OpenReview · State space models· Shubham Toshniwal; Sam Wiseman; Karen Livescu; Kevin Gimpel·· 2022-01-01精选AI 评分74
内嵌式状态探测
Baked-in State Probing
AI 导读
基于摘要分析。本文研究语言模型能否从程序性文本中学习并利用底层世界状态,以及如何在训练时将状态知识嵌入语言模型,使推理阶段可直接通过文本提示进行状态探测。主要研究对象是语言模型的世界状态跟踪与文本生成,而非 EEG/BCI 或神经信号状态空间建模。 在简单程序性文本场景中,既有研究通过探针分类器发现,语言模型表征包含可用于世界状态跟踪的信息。本文采用基于模型预测的评估方式,作者报告其结果与分类器探测所得判断不同,提示模型可能未捕获世界状态,或虽有相关信息却未在预测中使用。摘要不足以确定这两种解释中的哪一种成立,也不能据此认定既有探针评估无效。 为考察显式状态监督的作用,作者研究仅在训练阶段提供底层世界状态、将状态知识与语言建模主任务共同学习的方案。推理阶段通过文本提示进行状态探测,不再依赖额外的探针分类器。摘要未披露状态表示、监督目标、提示格式或训练组织方式。 作者报告,在所研究的程序性文本设置下,训练时嵌入状态知识可显著改善状态跟踪表现与文本生成质量;具体数据集、划分、对照基线、指标、数值及显著性检验信息尚未验证,不能据此量化提升幅度或推广到其他任务。实验协议、消融及统计信息尚未验证。材料未提供与 EEG/BCI 的具体机制对应或验证结果,已有 EEG 相关工作尚未检索确认。
阅读价值
值得阅读的是其对“探针可解码状态”与“模型预测实际利用状态”的区分,以及仅在训练时引入世界状态监督、推理时通过文本提示检查状态知识的方案;具体增益与评估协议尚待全文核对。
来源:OpenReview · State space models · openreview.net