Otoregresif üretim doğası gereği seridir. Her token kendinden öncekini bekler ve her adım büyük modelde tam bir ileri geçiş maliyeti çıkarır. Spekülatif kod çözme bu seri zinciri, modelin söyleyeceği şeyi değiştirmeden kırar.
Genelde on ila yirmi kat daha ucuz olan küçük bir taslak model sonraki dört beş token'ı önerir. Büyük model bu bütün diziyi tek ileri geçişte puanlar, çünkü bilinen bir diziyi doğrulamak üretmekten farklı olarak paralel bir iştir. Büyük modelin taslakla hemfikir olduğu yerde bütün token'lar tek seferde kabul edilir. İlk anlaşmazlıkta taslak kesilir ve doğru token'ı büyük model kendisi verir.
Hızlanmayı kabul oranı belirler. Kalıp kod ya da biçimli çıktı gibi tahmin edilebilir metinlerde taslaklar sık hayatta kalır ve latency yarıya kadar inebilir. Yoğun muhakemede kabul oranı düşer, kazanç da küçülür.
Önemli olan özellik şu: örnekleme dağılımı birebir korunur. Bu bir latency optimizasyonudur ve kaliteden bir şey götürmez.
Taslak modelin seçimi işin ayar tarafıdır. Aynı aileden gelen küçük bir model, büyük modelin dağılımına daha yakın tahmin ürettiği için kabul oranını yükseltir. Çok küçük bir taslak ucuzdur ama sık reddedilir. Çok büyük bir taslak isabetlidir ama kazancı yer. Doğru nokta genelde ölçümle bulunur.