Dizi oluşturma, bir modelin çıktıyı tek seferde değil, sırayla parça parça üretmesidir. Dil modellerinde bu parçalar token. Model önce ilk token'ı seçiyor, sonra o token'ı da girdiye ekleyip ikincisini seçiyor ve bu böyle devam ediyor. Her adımda kararını, o ana kadar yazılmış olan her şeye bakarak veriyor.
Seçim doğrudan değil olasılıkla yapılıyor. Model her adımda sözlükteki tüm token'lar için bir olasılık dağılımı üretiyor, ardından kod çözme kuralları bu dağılımdan hangi token'ın alınacağına karar veriyor. Temperature değerini düşürmek en olası token'ı öne çıkarıyor, yükseltmek çeşitliliği artırıyor. Beam search gibi yöntemler ise tek bir yol yerine birkaç aday diziyi paralel takip ediyor.
Üretim yalnızca metinle sınırlı değil. Makine çevirisi, otomatik özetleme, kod tamamlama, konuşma sentezi ve müzik üretimi aynı mantıkla çalışıyor. Ortak nokta, çıktının bir sıraya sahip olması ve her adımın öncekilere bağlı olması.
Somut bir örnek: bir ürün açıklaması üretilirken model "Bu" token'ını seçtikten sonra devamında "ayakkabı" gelme olasılığı artıyor, çünkü artık cümlenin bir öznesi var. Aynı istem ikinci kez çalıştırıldığında farklı bir cümle çıkabiliyor, çünkü seçim her adımda yeniden örnekleniyor.
Süreç adım adım olduğu için hatalar da birikiyor. Erken bir adımda yanlış yöne sapan bir dizi, sonraki adımlarda kendini düzeltmek yerine o yanlışın üzerine inşa etmeye devam edebiliyor.