how to

9.8.beam-search

Aug 22, 2024
notesjulyfun技术学习d2l
1 Minutes
89 Words

预测序列时,并非选择最大概率的词元,而是保留前 $k$ 个最大概率词元,进行预测后会生成 $k times n_“vocab”$ 个词,再在其中选择 $k$ 个最大当前概率的词元,依此类推。

我感觉也可以选择历史概率乘积最大的 $k$ 个,而不是当前概率。

Article title:9.8.beam-search
Article author:Julyfun
Release time:Aug 22, 2024
Copyright 2025
Sitemap