DocMamba:基于状态空间模型的高效文档预训练
DocMamba: Efficient Document Pre-training with State Space Model
基于摘要分析。该研究面向视觉丰富文档理解,针对 Transformer 自注意力的二次计算复杂度限制长文档处理效率的问题,提出基于状态空间模型的文档预训练框架 DocMamba,旨在将计算复杂度降至线性,同时保留全局建模能力。 机制方面,作者引入 Segment-First Bidirectional Scan(SFBS),用于捕获连续的语义信息。摘要未说明文档视觉、文本与布局信息如何编码,亦未披露分段规则、双向扫描的具体实现、预训练目标与训练规模,因此尚不能确认各模块对性能和效率的独立贡献。 结果方面,作者报告在 FUNSD、CORD 和 SORIE 等下游数据集上取得新的 SOTA 结果,并提高速度、降低内存使用;但摘要未提供任务指标、数值、数据划分、对照模型或硬件条件,这些收益尚不能量化核验。作者还报告 HRDoc 实验支持其长度外推潜力,但训练与测试长度、外推范围及性能变化尚未验证。摘要称代码将在线提供,不能据此确认代码已发布。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若线性复杂度序列建模和分段双向扫描能保留长程依赖,该机制可能对应长时 EEG 建模的计算与记忆瓶颈,但文档语义片段并不等同于 EEG 时间片段。可考虑复用状态空间序列模块,改造输入编码、分段规则及通道融合;低信噪比、跨被试差异和小数据可能削弱收益,双向扫描也需要与在线因果推理要求区分。一个可检验的小实验是在固定 EEG 数据划分与训练预算下,对比状态空间模型采用和不采用分段双向扫描时的任务指标、显存占用及序列长度变化表现。上述仅为迁移假设,不是已验证的 EEG 或 BCI 结果;已有 EEG 相关工作尚未检索确认。
值得关注的是 DocMamba 以状态空间模型和 Segment-First Bidirectional Scan 兼顾长文档建模与计算效率的机制,但其性能、资源收益及长度外推的具体评估条件仍需全文核对。
来源:OpenReview · State space models · openreview.net