Kod çözme kuralları, bir dil modelinin her adımda ürettiği olasılık dağılımından hangi token'ın seçileceğini belirleyen ayarlardır. Model aslında tek bir cevap üretmiyor. Sözlükteki her token için bir olasılık üretiyor, seçimi bu kurallar yapıyor. Aynı model ve aynı istem, farklı kod çözme ayarlarıyla belirgin biçimde farklı metinler veriyor.
En çok kullanılan ayarlar temperature, top-k ve top-p. Temperature dağılımı sivriltiyor ya da yayıyor: düşük değer en olası token'ı neredeyse garantiliyor, yüksek değer daha az beklenen seçeneklere de şans veriyor. Top-k seçimi en olası k token'la sınırlıyor. Top-p ise olasılıkları toplamı belirli bir eşiğe ulaşana kadar biriktirip havuzu orada kesiyor. Bunların yanında tekrar cezaları aynı ifadenin döngüye girmesini engelliyor, durdurma dizileri de üretimin nerede biteceğini söylüyor.
Seçim işin niteliğine göre değişiyor. Kod üretimi, veri çıkarımı ve sınıflandırma gibi tek doğru cevabı olan işlerde temperature düşük tutuluyor. Başlık önerisi, reklam metni ve beyin fırtınası gibi çeşitlilik istenen işlerde yükseltiliyor.
Somut bir örnek: ürün açıklaması üreten bir akışta temperature 0.2 iken metinler birbirine benziyor ve kalıplaşıyor. 0.9'a çıkarıldığında çeşitlilik geliyor ama ürün özelliklerinde hata payı da artıyor. Ekipler genelde 0.5 civarında bir orta nokta bulup orada sabitliyor.
Ayarların hepsi aynı anda oynatıldığında etkileri birbirine karışıyor, bu yüzden tek seferde tek parametre değiştirmek daha okunur sonuç veriyor.