语言模型融合声学模型
Fusion解释:fusing E2E models with LMs trained with text data (usually referred to this as fusion)
==Gulcehre, Caglar, et al. “On using monolingual corpora in neural machine translation.” arXiv preprint arXiv:1503.03535 (2015).== citations:474
解决什么问题
用于机器翻译中,提出一种方法,将仅在单语言数据(目标语言)上训练的语言模型(LM)集成到NMT系统中;
用了什么方法
集成LM到NMT模型的方法:
方法1. shallow fusion :每个时间步,NMT模型有一系列个候选词(每个候选词是一个类别),通过LM分+NMT输出分+路径分,取nbest路径分,新来一个word,它的分数计算为:
$\large \log p(y_t=k)=\log p_{TM}(y_t=k)+\beta \log p_{LM}(y_t=k)$
得到这个word的分数,然后再加上路径分数,再从路径中取n-best路径,(再把路径送入LM,)
方法2. deep fusion :
