跳到正文
OpenReview · State space models· Yanxiang Zhang; Yuanbo Zhang; Haicheng Sun; Yun Wang; Gary Sivek; Shumin Zhai·· 2024-01-01精选AI 评分72

Gboard 解码器中的神经搜索空间

Neural Search Space in Gboard Decoder

AI 导读

基于摘要分析。该研究面向 Gboard 触屏键盘解码:解码器在上下文相关的搜索空间中,寻找与输入触点最匹配的路径。作者提出 Neural Search Space,以神经网络语言模型(NN-LM)替代原有 N-gram 语言模型,并在解码过程中动态构建搜索空间,以缓解设备模型大小约束下 N-gram 模型的上下文长度限制与稀疏性问题。 核心机制是将 NN-LM 在给定上下文下的输出于运行时转换为语言有限状态转换器(FST),把较长范围的上下文信息直接纳入搜索过程。实现涉及语言 FST 结构重设计、剪枝策略调优及数据结构优化;摘要未披露 NN-LM 架构、训练数据、目标函数或具体剪枝规则。这是一项键盘语言模型与搜索解码的集成研究,摘要未描述状态空间模型方法。 作者报告,在多个语言区域的在线实验中,Words Modified Ratio 降低幅度为 [0.26%, 1.19%],同时延迟增加处于作者认为可接受的范围。摘要未明确该变化是相对降幅还是绝对百分点变化,也未给出具体语言区域、样本规模、对照配置及延迟数值;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG/BCI 文本输入系统已提供字符或词候选及相应证据,动态 FST 搜索可能用于结合这些证据与语言上下文,但键盘触点解码的结果不等于 BCI 有效性。可考虑复用运行时语言 FST 构建与剪枝机制,需改造输入证据接口,并核对语言先验与神经信号证据的融合方式。低信噪比、跨被试差异及小数据条件下,过强语言先验可能压制用户真实意图。一个可检验的小实验是在固定 EEG 候选输出、相同数据划分与延迟预算下,对比 N-gram FST 与动态 NN-LM FST 的字符错误率、词错误率及解码延迟。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其将 NN-LM 的上下文预测在运行时转换为语言 FST 的解码机制,以及搜索质量与延迟之间的工程权衡,但其对 EEG/BCI 解码的价值尚未验证。

来源:OpenReview · State space models · openreview.net