Generation, bir modelin öğrendiği kalıplara dayanarak yeni içerik üretmesidir. Çıktı metin, görüntü, ses, video ya da kod olabiliyor. Sınıflandırma gibi görevlerden farkı, modelin mevcut seçenekler arasından birini seçmek yerine daha önce var olmayan bir çıktıyı adım adım kurması.
Dil modellerinde süreç token düzeyinde ilerliyor. Model her adımda sözlükteki tüm token'lar için bir olasılık dağılımı üretiyor, kod çözme kuralları bu dağılımdan birini seçiyor ve seçilen token girdiye eklenerek döngü tekrar başlıyor. Seçim rastgelelik içerdiği için aynı istem farklı çıktılar verebiliyor. Temperature ve top-p gibi ayarlar bu rastgeleliğin ne kadar geniş olacağını belirliyor.
Üretimin yönü istemle veriliyor. İstem ne kadar açık ve bağlam ne kadar dolu olursa çıktı o kadar öngörülebilir oluyor. Serbest bırakıldığında model kendi olasılık dağılımının götürdüğü yere gidiyor.
Somut bir örnek: bir yayıncı yeni bir yazı için başlık seçenekleri üretiyor. Aynı istem on kez çalıştırıldığında on farklı liste geliyor, çünkü her seferinde farklı token'lar örnekleniyor. Ekip listeleri karşılaştırıp seçim yapıyor, model karar verici değil seçenek üretici olarak kullanılıyor.
Üretilen içeriğin doğruluğu garanti değil. Model olasılığı yüksek olan devamı üretiyor, doğru olanı değil, bu yüzden olgusal iddialar ayrıca kontrol ediliyor.
