跳到正文
OpenReview · State space models· Giuliano Antoniol; Fabio Brugnara; Mauro Cettolo; Marcello Federico·· 1995-01-01精选AI 评分77

用于束搜索解码的语言模型表示

Language model representations for beam-search decoding

AI 导读

基于摘要分析。本文研究面向大词汇量连续语音 HMM 识别器的 bigram 语言模型表示,核心贡献是结合概率因子分解、后继词树结构与空间优化算法,降低 beam-search 解码所需的语言模型存储开销;原研究对象是语音识别,而非 EEG 或 BCI。 技术机制上,作者从 bigram 插值方案推导概率因子分解,并将给定词之后可能出现的词组织为树形拓扑,再利用优化算法减少语言模型的空间需求。摘要未给出分解公式、树节点共享规则、优化目标及其与搜索剪枝的具体交互,这些实现条件尚未验证。 作者报告,在 HP-735 工作站上开展的两个 10,000 词听写任务中,放射学报告任务的困惑度为 27,达到 93% 词准确率、实时响应和 23 Mb 进程空间;报纸听写任务的困惑度为 120,达到 88.1% 词准确率、1.41 倍实时响应时间和 38 Mb 进程空间。上述结果属于各自语料与当时硬件条件,不能直接用于推断现代系统的性能或压缩收益。数据划分、对照表示、消融及统计信息尚未验证;空间单位沿用摘要原文。 平台推测(待验证):若语言型 BCI 已提供词级候选概率,并使用 bigram 先验进行束搜索,这种表示方法可能用于降低语言先验的存储开销,但不直接改善 EEG 特征提取或跨被试泛化。可复用的是词转移概率的树形表示与搜索接口,需改造的是神经解码输出与词表、语言先验的对接。低信噪比和小样本造成的候选概率失准,可能使语言先验掩盖神经证据。一个可检验的小实验是固定神经解码器、bigram 概率及搜索设置,仅替换语言模型表示,比较输出一致性、峰值内存与解码延迟。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究提供了利用 bigram 概率因子分解和树结构压缩语言模型表示的具体思路,值得关注其在 beam-search 解码中对存储与响应时间的权衡,但对神经信号解码的适用性尚未验证。

来源:OpenReview · State space models · openreview.net