跳到正文
OpenReview · State space models· Florian Le Bronnec; Song Duong; Mathieu Ravaut; Alexandre Allauzen; Nancy F. Chen; Vincent Guigue; Alberto Lumbreras; Laure Soulier; Patrick Gallinari·· 2024-01-01精选AI 评分78

LOCOST:用于长文档抽象式摘要的状态空间模型

LOCOST: State-Space Models for Long Document Abstractive Summarization

AI 导读

LOCOST 面向长文档抽象式摘要,提出基于状态空间模型的编码器—解码器架构,以较低计算复杂度处理长上下文条件文本生成。基于摘要分析,未取得论文全文。 核心机制是利用状态空间模型编码长序列并捕捉长期依赖,作为注意力架构的替代方案。摘要给出的计算复杂度为 O(L log L),但未说明具体状态更新、编码器与解码器交互方式、训练目标及复杂度核算范围,相关实现细节尚未验证。 作者报告,在一系列长文档抽象式摘要任务中,LOCOST 的表现达到同等规模、表现最佳的稀疏 Transformer 的 93–96%;该比例是相对表现描述,并非 Accuracy,摘要未提供具体指标、数据集及逐项结果。作者同时报告,训练内存最多节省 50%,推理内存最多节省 87%,但对应输入长度、批大小、硬件及对照配置尚未验证。作者报告,模型在推理时可处理超过 600K tokens 的输入,并在整本书摘要任务上取得新的最优结果;该结论的评估协议与基线范围仍需全文核对。实验协议、消融及统计信息尚未验证。 平台推测(待验证):状态空间模型的长序列编码机制可能对应连续 EEG 建模的内存瓶颈,但文本摘要有效不等于 BCI 有效。迁移需要将文本输入与摘要监督改为多通道信号表示及任务监督;可考虑复用序列编码思想,而非直接照搬文本生成系统。低信噪比、通道差异、跨被试变化和小数据训练均可能削弱收益。一个可检验的小实验是在固定被试划分与训练预算下,对比状态空间编码器和注意力基线随 EEG 窗口长度变化的任务指标及峰值内存。相关已有 EEG 工作尚未检索确认。

阅读价值

值得核对 LOCOST 在长文档条件生成中对摘要质量与内存开销的权衡,但其超长输入结果及向 EEG 长序列建模的迁移价值仍需分别验证。

来源:OpenReview · State space models · openreview.net