1、beam search 一方面可以提升指标，另一方面也可以解决生成的句子不通顺的问题。因此，不管是在训练测试的过程中都要开beamsearch ，对提高指标有帮助。还有就是，如果训练的时候 beam size设置为1，而只是在测试的时候使用beamsearch，原本好的模型可能会变得还不如原本差的模型。也就是，beam size=1下的好的模型 到了beam size=5下未必还能继续好。
2、交叉熵训练的过程中开 scheduled_sample 解决一次预测错 后面全部预测错的问题（exposure bias）。强化学习（比如CIDER引导优化）目的在于（1）解决exposure bias问题 （2）训练目标和评价指标的不一致 但是在强化学习训练的时候，仍然要开 scheduled_sample ，因为对提升指标会有帮助。
3、RL加beam search训练的模型只比RL加greedy decoding训练的模型有少量的提升（但是消耗时间）
（待续）
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
