跳到正文
OpenReview · State space models·· 27 天前精选AI 评分82

扭曲选择性状态空间:可复用计算与锚点选择

Warped Selective State Spaces: Reusable Computation and Anchor Selection

AI 导读

基于摘要分析。本文研究选择性状态空间递推中,输入依赖动态如何限制计算复用,并提出保持原递推不变的精确锚定表示,将坐标条件与可省去的动态转移摘要计算、分块锚点选择联系起来。主要贡献是锚点可行性分析、固定树分区的理论界,以及指定执行器内的策略延迟评估,并非 EEG 或 BCI 方法验证。 机制方面,论文考察哪些分块能在坐标跨度预算下采用正常量锚点,并通过可行锚点区间与时间证书,区分可通过更换锚点修复的失败和对所有常量锚点均不可行的失败。作者给出紧的均值锚点跨度界及固定树分区的预算增广保证;另以反例说明,在预算不变时,不能获得与宽度无关的叶节点数量近似保证。这些理论结论的具体定义、假设与证明尚待全文核对。 作者报告,在从公开检查点采样的 16,384 个根节点上,分块均值策略恢复了 oracle 叶节点数量改进空间的 96.58–99.41%,并优于仅针对宽度为二的情形进行补救的策略。该指标衡量分区策略的改进空间,不能直接解释为整体运行加速比例。 作者进一步报告,在八篇新文档、130M 与 370M 参数模型、每个模型三个层的评估中,于预先指定的主要设置下,相对于同一自定义执行器内已部署的锚点,分块均值策略使包含准备开销的 packed-affine 延迟分别降低 31.3% 和 19.5%。全部 48 个模型—文档—层组合均有改善,且均通过完整输出数值检查。匹配 GPU 实验还区分了锚点策略与 affine/source-only 执行方式;source-only 可移除指定的局部树算术,但总耗时收益取决于分区及准备成本,不能据此断言其始终更快。 摘要未提供模型名称、文档来源、硬件配置、数值容差及完整计时细节;实验协议、消融及统计信息尚未验证。当前证据支持的是所测试执行族中的计算优化收益,不能外推为普遍端到端加速或 EEG/BCI 效果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何在保持原递推不变的条件下,将常量锚点的可行性判据转化为可复用计算与实测延迟收益,尤其需区分锚点策略、执行方式及准备开销各自的贡献。

来源:OpenReview · State space models · openreview.net