プロンプトのイメージ

Greedy Search / Beam Search / Top-K Sampling / Top-p (Nucleus) Sampling などの手法を使って確率的に次のトークンを決めています(デコードしている)。

2024/07/15 18:17